Benefícios dos processos gaussianos

Eu tenho essa confusão relacionada aos benefícios dos processos gaussianos. Quero dizer compará-lo à regressão linear simples, onde definimos que a função linear modela os dados.

No entanto, nos processos gaussianos, definimos a distribuição das funções significa que não definimos especificamente que a função deve ser linear. Podemos definir um prior sobre a função, que é o prior gaussiano, que define características como quão suave a função deve ser e tudo.

Portanto, não precisamos definir explicitamente qual deve ser o modelo. No entanto, eu tenho perguntas. Temos probabilidade marginal e, usando-o, podemos ajustar os parâmetros da função de covariância do prior gaussiano. Portanto, isso é semelhante a definir o tipo de função que deveria ser, não é?

Tudo se resume à mesma coisa que define os parâmetros, embora no GP eles sejam hiperparâmetros. Por exemplo, neste artigo . Eles definiram que a função média do GP é algo como

$$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$$

Definitivamente, o modelo / função está definido, não é? Então, qual é a diferença na definição da função como linear no LR.

Eu simplesmente não entendi qual é o benefício de usar o GP

$D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

$$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$$ $K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$$k(\mathbf{x}_i, \mathbf{x}_j)$$\mathbf{x}$ $$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$$ $\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$

$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

$$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$$ $(X X^T)^{-1}$

$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$$A$

.

Portanto, o benefício é que podemos modelar funções não lineares usando uma função de covariância adequada (podemos selecionar uma de última geração, na maioria dos casos, a função de covariância exponencial ao quadrado é uma boa opção). A fonte da não linearidade não é o componente de tendência que você mencionou, mas a função de covariância.

$x$$f$$f(x)$

$max$$f$$x$$f$$\mu$$\Sigma$ (incerteza), permitindo, por exemplo, otimizar funções caras da caixa preta.