Eu queria saber quais são os diferentes casos de uso para os dois algoritmos, descida de coordenadas e descida de gradiente . Eu sei que a descida de coordenadas tem problemas com funções não suaves, mas é usada em algoritmos populares como SVM e LASSO. Acho que a descida em gradiente é usada...
Ao treinar uma rede neural usando o algoritmo de retropropagação, o método de descida de gradiente é usado para determinar as atualizações de peso. Minha pergunta é: Em vez de usar o método de descida de gradiente para localizar lentamente o ponto mínimo com relação a um determinado peso, por que...
Estou curioso para saber como os gradientes são propagados novamente através de uma rede neural usando módulos ResNet / pular conexões. Eu já vi algumas perguntas sobre o ResNet (por exemplo, rede neural com conexões de camada de salto ), mas esta pergunta especificamente sobre a propagação de...
Essencialmente, minha pergunta é que, nos Perceptrons multicamadas, os perceptrons são usados com uma função de ativação sigmóide. De modo que na regra de actualização y é calculado comoy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Como esse...
Por que as pessoas usam técnicas de programação quadrática (como SMO) ao lidar com SVMs kernelizados? O que há de errado com a descida do gradiente? É impossível usar com kernels ou é muito lento (e por quê?). Aqui está um pouco mais de contexto: tentando entender um pouco melhor os SVMs, usei o...
No treinamento de redes neurais profundas e rasas, por que os métodos de gradiente (por exemplo, descida de gradiente, Nesterov, Newton-Raphson) são comumente usados, em oposição a outras metaheurísticas? Por metaheurísticas, refiro-me a métodos como recozimento simulado, otimização de colônias de...
Os algoritmos genéticos são uma forma de método de otimização. Frequentemente, a descida do gradiente estocástico e seus derivados são a melhor opção para otimização de funções, mas algoritmos genéticos ainda são usados algumas vezes. Por exemplo, a antena da sonda ST5 da NASA foi criada com um...
Li esta afirmação em um antigo exame verdadeiro / falso: Podemos obter várias soluções ótimas locais se resolvermos um problema de regressão linear, minimizando a soma dos erros ao quadrado usando a descida do gradiente. Solução: Falso Minha pergunta é: qual parte dessa pergunta está errada?...
Eu sei que a descida estocástica do gradiente tem comportamento aleatório, mas não sei por quê. Existe alguma explicação sobre
Eu já vi conclusões semelhantes em muitas discussões, de que à medida que o tamanho de minibatch aumenta, a convergência do SGD fica realmente mais difícil / pior, por exemplo, este artigo e esta resposta . Também ouvi falar de pessoas que usam truques como pequenas taxas de aprendizado ou tamanhos...
Eu li que o algoritmo k-means apenas converge para um mínimo local e não para um mínimo global. Por que é isso? Posso pensar logicamente como a inicialização pode afetar o clustering final e existe a possibilidade de clustering abaixo do ideal, mas não encontrei nada que provasse isso...
Quais são os prós e os contras dos dois
Atualmente, leio o artigo Efficient Online e Batch Learning usando a divisão forward-backward de John Duchi e Yoram Singer. Estou muito confuso sobre o uso dos termos 'Online' e 'Lote'. Pensei 'Online' significa que atualizamos os parâmetros de peso após o processamento de uma unidade dos dados de...
Eu experimentei um pouco com diferentes implementações do Perceptron e quero ter certeza de que entendi as "iterações" corretamente. Regra original do perceptron de Rosenblatt Tanto quanto eu entendo, no algoritmo clássico de Rosenblatt perceptron, os pesos são atualizados simultaneamente após...
Eu tenho lido muito sobre redes neurais convolutivas e queria saber como elas evitam o problema de gradiente que desaparece. Sei que redes de crenças profundas empilham codificadores automáticos de nível único ou outras redes rasas pré-treinadas e, portanto, podem evitar esse problema, mas não sei...
Quando implementei o mini gradiente de lote decente, apenas calculei a média dos gradientes de todos os exemplos no lote de treinamento. No entanto, notei que agora a taxa de aprendizado ideal é muito maior do que a do gradiente on-line decente. Minha intuição é que isso ocorre porque o gradiente...
A Descida de gradiente padrão calcularia o gradiente para todo o conjunto de dados de treinamento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para um número predefinido de épocas, primeiro calculamos o...
Estou usando o vowpal wabbit para resolver um problema de bandido contextual . Estou exibindo anúncios para os usuários e tenho bastante informações sobre o contexto em que o anúncio é exibido (por exemplo, quem é o usuário, em que site ele está, etc.). Esse parece ser um problema clássico de...
Atualmente, estou um pouco confuso com a forma como a descida do gradiente de mini-lote pode ser presa em um ponto de sela. A solução pode ser muito trivial que eu não entendo. Você começa uma amostra nova todas as épocas, e calcula um novo erro com base em um novo lote, para a função de custo é...
Vou ver os vídeos do curso de aprendizado de máquina on - line gratuito de Andrew Ng em Stanford. Ele discute o Gradient Descent como um algoritmo para resolver funções de regressão linear e escrita no Octave para executá-lo. Presumivelmente, eu poderia reescrever essas funções em R, mas minha...