Benefícios dos processos gaussianos

13

Eu tenho essa confusão relacionada aos benefícios dos processos gaussianos. Quero dizer compará-lo à regressão linear simples, onde definimos que a função linear modela os dados.

No entanto, nos processos gaussianos, definimos a distribuição das funções significa que não definimos especificamente que a função deve ser linear. Podemos definir um prior sobre a função, que é o prior gaussiano, que define características como quão suave a função deve ser e tudo.

Portanto, não precisamos definir explicitamente qual deve ser o modelo. No entanto, eu tenho perguntas. Temos probabilidade marginal e, usando-o, podemos ajustar os parâmetros da função de covariância do prior gaussiano. Portanto, isso é semelhante a definir o tipo de função que deveria ser, não é?

Tudo se resume à mesma coisa que define os parâmetros, embora no GP eles sejam hiperparâmetros. Por exemplo, neste artigo . Eles definiram que a função média do GP é algo como

m(x)=ax2+bx+ci.e. a second order polynomial.

Definitivamente, o modelo / função está definido, não é? Então, qual é a diferença na definição da função como linear no LR.

Eu simplesmente não entendi qual é o benefício de usar o GP

user34790
fonte

Respostas:

7

D=(X,y)={(xi,yi)}i=1N

L=12(log|K|+yTK1y),
K={k(xi,xj)}i,j=1Nk(xi,xj)x
y^(x)=kK1y,
k={k(x,xi)}i=1N

k(xi,xj)=xiTxj

y^(x)=xTXT(XXT)1y=xT(XTX)1XTy.
(XXT)1

exp((xixj)TA1(xixj))A

insira a descrição da imagem aqui.

Portanto, o benefício é que podemos modelar funções não lineares usando uma função de covariância adequada (podemos selecionar uma de última geração, na maioria dos casos, a função de covariância exponencial ao quadrado é uma boa opção). A fonte da não linearidade não é o componente de tendência que você mencionou, mas a função de covariância.

Alexey Zaytsev
fonte
3
Eu diria que este é apenas um benefício do GP e também é compartilhado com outros métodos do kernel. Ser probabilístico e proveniente da estrutura bayesiana é outra vantagem do GP.
Seeda 12/01
2

xff(x)

maxfxfμΣ (incerteza), permitindo, por exemplo, otimizar funções caras da caixa preta.

Tomasz Bartkowiak
fonte