Seleção de hiperparâmetros totalmente bayesiana na GPML

8

É possível realizar uma seleção aproximada de bayesianos (1) de hiperparâmetros (por exemplo, escala de covariância) com o código GPML, em vez de maximizar a probabilidade marginal (2)? Eu acho que o uso de métodos MCMC para resolver as integrais que envolvem hiperparâmetros anteriores deve levar a melhores resultados ao lidar com o ajuste excessivo. Até onde eu sei, a estrutura GPML não inclui esses cálculos, mas talvez existam outros códigos de terceiros.

(1) Sec. 5.2, cap. 5 em Processo Gaussiano de Aprendizado de Máquina, Rasmussen & Williams, 2006

(2) Seção "Regressão" na documentação GPML

bayesian model-selection gaussian-process hyperparameter Emile
fonte
Você já ouviu falar do INLA? pode ser o que você está procurando.
probabilityislogic
Isso não está contribuindo para a sua pergunta, mas você conseguiu encontrar um trabalho útil nessa área de priorização de escalas de comprimento? Absolutamente odeio a idéia de apenas otimizar numericamente as escalas de comprimento de um GP
sachinruk
(+1) Ótima pergunta. Este não é o MCMC, mas existem pacotes de terceiros que permitem marginalização parcial de hiperparâmetros com GPML via aproximação de Laplace, se você estiver interessado. Veja esta pergunta e respostas relacionadas.
lacerbi

Respostas:

1

Há outro pacote para aprendizado de máquina usando processos gaussianos chamado GPstuff, que tem tudo na minha opinião. Você pode usar o MCMC, integração em uma grade etc. para marginalizar seus hiperparâmetros.

NB Na documentação, eles chamam hiperparâmetros apenas parâmetros.

Mehrdad
fonte