Otimização bayesiana para ruído não gaussiano

8

Uma função de caixa preta , que é avaliada pontualmente, sujeita a ruído gaussiano, ou seja, f ( x ) + N ( μ ( x ) , σ ( x ) 2 ) , pode ser minimizada usando a otimização bayesiana onde um gaussiano Processo é usado como um modelo de função barulhenta.f:RnRf(x)+N(μ(x),σ(x)2)

Como a otimização bayesiana pode ser usada para funções sujeitas a ruído não gaussiano, por exemplo, distribuições distorcidas?

Existem implementações que suportam essa configuração?

Johnb
fonte
Apenas um comentário: as pessoas geralmente não usam o processo gaussiano (e distribuições normais para todos os outros problemas) por acreditarem que todas as coisas são normalmente distribuídas, mas porque isso facilita os cálculos.
Tim

Respostas:

1

Existem modelos de processos gaussianos com probabilidade não gaussiana : a distribuição anterior da função ainda é um processo gaussiano, mas o termo ruído não é mais gaussiano, ou seja, a probabilidade não é mais considerada gaussiana. Como conseqüência, os resultados analíticos são perdidos e a inferência de desenho agora requer métodos de aproximação, como MCMC ou aproximação de Laplace.fp(y|f)

Para várias distribuições, isso é implementado e explicado como parte do pacote GPML Matlab , disponível e explicado aqui . A tabela de métodos de inferência na seção 3d ("Uma visão geral mais detalhada") fornece uma visão geral de quais distribuições foram implementadas para a probabilidade e qual método de inferência está disponível para cada uma delas.

Os únicos artigos aos quais posso vincular você agora (porque os marquei em algum momento) estão na distribuição do aluno :t

  • Shah, Amar, Andrew Wilson e Zoubin Ghahramani. "Processos Student-t como alternativas aos processos gaussianos". Inteligência Artificial e Estatística. 2014.
  • Shah, Amar, Andrew Wilson e Zoubin Ghahramani. "Processos Student-t como alternativas aos processos gaussianos". Inteligência Artificial e Estatística. 2014.
  • Jylänki, Pasi, Jarno Vanhatalo e Aki Vehtari. "Regressão robusta do processo gaussiano com probabilidade de Student-t." Journal of Machine Learning Research 12.Nov (2011): 3227-3257.
Paris
fonte