Como determinar a taxa de aprendizado ideal para a descida do gradiente? Estou pensando em poder ajustá-lo automaticamente se a função cost retornar um valor maior do que na iteração anterior (o algoritmo não convergirá), mas não tenho muita certeza de qual novo valor deve ser...
Existem vários sites que descrevem a descida do gradiente para encontrar os parâmetros para a regressão linear simples ( aqui está um deles). O Google também a descreve em seu novo curso de ML (para o público). No entanto, na Wikipedia , são fornecidas as seguintes fórmulas para calcular os...
Estou lendo a útil entrada da Wikipedia sobre aumento de gradiente ( https://en.wikipedia.org/wiki/Gradient_boosting ) e tento entender como / por que podemos aproximar os resíduos pela etapa de descida mais íngreme (também chamada de pseudo-gradiente ) Alguém pode me dar a intuição de como a...
Estou tentando entender a otimização da descida do gradiente nos algoritmos de ML (aprendizado de máquina). Entendo que existe uma função de custo - em que o objetivo é minimizar o erro . Em um cenário em que os pesos estão sendo otimizados para fornecer o erro mínimo e derivadas parciais estão...
Estou tentando encontrar a estimativa MAP para um modelo por descida gradiente. Meu prior é gaussiano multivariado com uma matriz de covariância conhecida. Em um nível conceitual, acho que sei como fazer isso, mas esperava alguma ajuda com os detalhes. Em particular, se houver uma maneira mais...
Estou tentando entender como o rnn pode ser usado para prever sequências, trabalhando com um exemplo simples. Aqui está minha rede simples, consistindo em uma entrada, um neurônio oculto e uma saída: O neurônio oculto é a função sigmóide e a saída é considerada uma saída linear simples. Então,...
Estou trabalhando em um modelo de aprendizado de categoria on-line que usa descida de gradiente estocástico para se ajustar a um modelo de mistura gaussiana. O modelo é baseado no modelo de aprendizado on-line usado em Toscano e McMurray (2010). Embora a descida do gradiente pareça estar...