Eu tento reproduzir com optimos resultados de uma regressão linear simples ajustada com glmou até nlsfunções R. As estimativas de parâmetros são as mesmas, mas a estimativa de variação residual e os erros padrão dos outros parâmetros não são os mesmos, principalmente quando o tamanho da amostra é...
Estou usando a glmerfunção do lme4pacote em R e usando o bobyqaotimizador (ou seja, o padrão no meu caso). Estou recebendo um aviso e estou curioso para saber o que isso significa. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from...
Minhas perguntas são: Os modelos lineares generalizados (GLMs) garantem convergir para um máximo global? Se sim, por quê? Além disso, que restrições existem na função de link para garantir a convexidade? Meu entendimento dos GLMs é que eles maximizam uma função de probabilidade altamente...
Eu tenho tentado codificar um algoritmo para sugerir apostas em jogos 1X2 (ponderados). Basicamente, cada jogo tem um conjunto de partidas (times em casa x fora): 1: vitórias em casa X: desenhar 2: vitórias fora Para cada correspondência e símbolo ( 1, Xe 2), atribuirei uma porcentagem que...
Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Begnio, Goodfellow e Courtville: Adam inclui correções de viés nas estimativas dos momentos de primeira ordem (o termo momentum) e dos momentos de segunda ordem (sem...
Na configuração geral do algoritmo de descida em gradiente, temos que x n é o ponto atual, η é o tamanho da etapa e g r a d i e n t x n é o gradiente avaliado em x n . xn+1=xn−η∗gradientxnxn+1=xn−η∗gradientxnx_{n+1} = x_{n} - \eta *
Como um acompanhamento de Minha rede neural não consegue nem aprender a distância euclidiana , simplifiquei ainda mais e tentei treinar uma única ReLU (com peso aleatório) em uma única ReLU. Essa é a rede mais simples que existe e, ainda assim, metade do tempo em que falha na convergência. Se o...
A Descida de gradiente padrão calcularia o gradiente para todo o conjunto de dados de treinamento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para um número predefinido de épocas, primeiro calculamos o...
Gostaria de combinar as saídas do lmer (realmente glmer) com um exemplo binomial de brinquedo. Eu li as vinhetas e acredito que entendo o que está acontecendo. Mas aparentemente eu não. Depois de ficar preso, consertei a "verdade" em termos dos efeitos aleatórios e fui atrás da estimativa dos...
Estou tentando entender como os parâmetros são estimados na modelagem ARIMA / Box Jenkins (BJ). Infelizmente, nenhum dos livros que encontrei descreve o procedimento de estimativa, como o procedimento de estimativa do Log-Likelihood em detalhes. Achei o site / material didático que foi muito útil....
Eu tenho lido muito sobre redes neurais convolutivas e queria saber como elas evitam o problema de gradiente que desaparece. Sei que redes de crenças profundas empilham codificadores automáticos de nível único ou outras redes rasas pré-treinadas e, portanto, podem evitar esse problema, mas não sei...
Eu experimentei um pouco com diferentes implementações do Perceptron e quero ter certeza de que entendi as "iterações" corretamente. Regra original do perceptron de Rosenblatt Tanto quanto eu entendo, no algoritmo clássico de Rosenblatt perceptron, os pesos são atualizados simultaneamente após...
Existem muitas publicações que enfatizam o método de Maximização de Expectativas em modelos de mistura (Mistura de Gaussiana, Modelo de Markov Oculto, etc.). Por que EM é importante? O EM é apenas uma maneira de otimizar e não é amplamente usado como método baseado em gradiente (gradiente decente...
Eu sei que o k-means geralmente é otimizado usando a Maximização de Expectativas . No entanto, podemos otimizar sua função de perda da mesma maneira que otimizamos qualquer outra! Encontrei alguns trabalhos que realmente usam descida gradiente estocástica para médias k em larga escala, mas não...
Esta questão lida com a estimativa de máxima verossimilhança restrita (REML) em uma versão específica do modelo linear, a saber: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), onde X(α)X(α)X(\alpha) é uma matriz ( )...
Alguma recomendação para a escolha de uma biblioteca de otimização restrita adequada para a minha função de otimização? Estou minimizando ai) a função não linear com restrições lineares de igualdade e desigualdade e ii) tenho disponível o gradiente e o hessiano da função. Se ajudar, a função que...
O objetivo do artigo era otimizar alguns parâmetros, maximizando a probabilidade logarítmica regularizada. Então eles calculam derivadas parciais. E os autores mencionam que otimizam a equação usando L-BFGS, um procedimento quase-Newton padrão para otimizar funções suaves de muitas variáveis (sem...
Eu já ouvi a seguinte expressão antes: "Otimização é a raiz de todo mal nas estatísticas". Por exemplo, a resposta principal neste tópico faz essa afirmação em referência ao perigo de otimizar de forma muito agressiva durante a seleção do modelo. Minha primeira pergunta é a seguinte: Essa...
Meu objetivo é classificar os sinais dos sensores. O conceito da minha solução até agora é: i) Recursos de engenharia a partir do sinal bruto ii) Seleção de recursos relevantes com o ReliefF e uma abordagem de clustering iii) Aplicação de NN, floresta aleatória e SVM No entanto, estou preso em um...
A literatura de aprendizado profundo está cheia de truques inteligentes com o uso de taxas de aprendizado não constantes na descida do gradiente. Coisas como decaimento exponencial, RMSprop, Adagrad etc. são fáceis de implementar e estão disponíveis em todos os pacotes de aprendizado profundo, mas...