A descida de gradiente e muitos outros métodos são úteis para encontrar mínimos locais em funções de custo. Eles podem ser eficientes quando a função de custo pode ser avaliada rapidamente em cada ponto, seja numericamente ou analiticamente. Eu tenho o que me parece ser uma situação incomum. Cada...
Existem pesquisas contemporâneas substanciais sobre otimização bayesiana (1) para ajustar os hiperparâmetros de ML. A motivação motriz aqui é que é necessário um número mínimo de pontos de dados para fazer escolhas informadas sobre quais pontos vale a pena tentar (chamadas de função objetivas são...
Antecedentes e problema Estou usando Processos Gaussianos (GP) para regressão e subsequente otimização bayesiana (BO). Para regressão, uso o pacote gpml do MATLAB com várias modificações personalizadas, mas o problema é geral. É um fato bem conhecido que, quando duas entradas de treinamento estão...
Estou testando a otimização bayesiana, seguindo Snoek, Larochelle e Adams [ http://arxiv.org/pdf/1206.2944.pdf] , usando GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Eu implementei a função de aquisição de melhoria esperada descrita na página 3, e estou assumindo que estou...
Ambos os processos parecem ser usados para estimar o valor máximo de uma função desconhecida, e ambos obviamente têm maneiras diferentes de fazer isso. Mas, na prática, um dos métodos é essencialmente intercambiável? Onde eu gostaria de usar um sobre o
Eu sou bastante novo em aprendizado de máquina e estatística, mas estava me perguntando por que a otimização bayesiana não é referida com mais frequência on-line quando se aprende que o aprendizado de máquina otimiza seus hiperparâmetros de algoritmo? Por exemplo, usando uma estrutura como esta:...
Uma função de caixa preta , que é avaliada pontualmente, sujeita a ruído gaussiano, ou seja, f ( x ) + N ( μ ( x ) , σ ( x ) 2 ) , pode ser minimizada usando a otimização bayesiana onde um gaussiano Processo é usado como um modelo de função barulhenta.f:Rn→Rf:Rn→Rf: \mathbb{R}^n \rightarrow...