Eu tenho usado o theano para experimentar LSTMs e queria saber quais métodos de otimização (SGD, Adagrad, Adadelta, RMSprop, Adam, etc) funcionam melhor para LSTMs? Existem trabalhos de pesquisa sobre esse assunto? Além disso, a resposta depende do tipo de aplicativo para o qual estou usando o...
No treinamento de redes neurais profundas e rasas, por que os métodos de gradiente (por exemplo, descida de gradiente, Nesterov, Newton-Raphson) são comumente usados, em oposição a outras metaheurísticas? Por metaheurísticas, refiro-me a métodos como recozimento simulado, otimização de colônias de...
Os algoritmos genéticos são uma forma de método de otimização. Frequentemente, a descida do gradiente estocástico e seus derivados são a melhor opção para otimização de funções, mas algoritmos genéticos ainda são usados algumas vezes. Por exemplo, a antena da sonda ST5 da NASA foi criada com um...
Temos muitas boas discussões sobre a separação perfeita na regressão logística. Por exemplo, a regressão logística em R resultou em perfeita separação (fenômeno de Hauck-Donner). O que agora? e o modelo de regressão logística não converge . Pessoalmente, ainda acho que não é intuitivo por que será...
Existem pesquisas contemporâneas substanciais sobre otimização bayesiana (1) para ajustar os hiperparâmetros de ML. A motivação motriz aqui é que é necessário um número mínimo de pontos de dados para fazer escolhas informadas sobre quais pontos vale a pena tentar (chamadas de função objetivas são...
Muitos tutoriais online falam sobre descida de gradiente e quase todos usam um tamanho de etapa fixo (taxa de aprendizado ). Por que não há uso de pesquisa de linha (como pesquisa de linha de retorno ou pesquisa de linha
Estou apenas aprendendo sobre otimização e tendo problemas para entender a diferença entre otimização convexa e não convexa. Pelo meu entendimento, uma função convexa é aquela em que "o segmento de linha entre dois pontos no gráfico da função está acima ou no gráfico". Nesse caso, um algoritmo de...
De qualquer algoritmo de amostragem genérico, pode-se derivar um algoritmo de otimização. De fato, para maximizar uma função arbitrária , basta extrair amostras de . Para pequeno o suficiente, essas amostras ficarão próximas do máximo global (ou máximo local na prática) da função .f: x → f( X...
Acho que essa é uma pergunta básica e tem a ver com a direção do próprio gradiente, mas estou procurando exemplos em que os métodos de 2ª ordem (por exemplo, BFGS ) são mais eficazes do que a simples descida do
Estou tentando minimizar uma função personalizada. Ele deve aceitar cinco parâmetros e o conjunto de dados e fazer todos os tipos de cálculos, produzindo um único número como saída. Quero encontrar uma combinação de cinco parâmetros de entrada que produzam a menor saída da minha...
Definimos uma época como tendo passado por todas as amostras de treinamento disponíveis, e o tamanho do minilote como o número de amostras sobre as quais calculamos a média para encontrar as atualizações de pesos / desvios necessários para descer o gradiente. Minha pergunta é se devemos extrair...
Eu já vi conclusões semelhantes em muitas discussões, de que à medida que o tamanho de minibatch aumenta, a convergência do SGD fica realmente mais difícil / pior, por exemplo, este artigo e esta resposta . Também ouvi falar de pessoas que usam truques como pequenas taxas de aprendizado ou tamanhos...
Existe uma definição matemática ou algorítmica de sobreajuste? As definições geralmente fornecidas são o gráfico 2-D clássico de pontos, com uma linha passando por cada ponto e a curva de perda de validação subindo subitamente. Mas existe uma definição matematicamente...
Pode-se executar uma regressão logit em R usando esse código: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Parece que o algoritmo de...
Eu encontrei esta implementação em Python do algoritmo Jenks Natural Breaks e poderia fazê-lo rodar na minha máquina Windows 7. É bem rápido e encontra as quebras em pouco tempo, considerando o tamanho dos meus dados geográficos. Antes de usar esse algoritmo de clustering para meus dados, eu estava...
Quais são os prós e os contras dos dois
Eu tenho tentado codificar um algoritmo para sugerir apostas em jogos 1X2 (ponderados). Basicamente, cada jogo tem um conjunto de partidas (times em casa x fora): 1: vitórias em casa X: desenhar 2: vitórias fora Para cada correspondência e símbolo ( 1, Xe 2), atribuirei uma porcentagem que...
Se começarmos com um conjunto de dados , aplicar o Lasso a ele e obter uma solução , podemos aplicar o Lasso novamente ao conjunto de dados , onde é o conjunto de zero índices de , para obter uma solução, , chamada solução 'LASSO relaxada' (corrija-me se estiver errado!). A solução deve satisfazer...
Estou usando a glmerfunção do lme4pacote em R e usando o bobyqaotimizador (ou seja, o padrão no meu caso). Estou recebendo um aviso e estou curioso para saber o que isso significa. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from...
Minhas perguntas são: Os modelos lineares generalizados (GLMs) garantem convergir para um máximo global? Se sim, por quê? Além disso, que restrições existem na função de link para garantir a convexidade? Meu entendimento dos GLMs é que eles maximizam uma função de probabilidade altamente...