Esta questão lida com a estimativa de máxima verossimilhança restrita (REML) em uma versão específica do modelo linear, a saber: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), onde X(α)X(α)X(\alpha) é uma matriz ( )...
Esta pergunta já tem respostas aqui : Algoritmo de retropropagação (2 respostas) Fechado há 2 meses . O que é o algoritmo de retropropagação e como ele
Existem alternativas rápidas para o algoritmo EM para aprender modelos com variáveis latentes (especialmente pLSA)? Eu estou bem em sacrificar a precisão em favor da
Recentemente, li um artigo de Yann Dauphin et al. Identificando e atacando o problema do ponto de sela na otimização não convexa de alta dimensão , onde eles introduzem um interessante algoritmo de descida chamado Saddle-Free Newton , que parece ser exatamente adaptado para otimização de rede...
Um amigo meu vende modelos de liquidificadores. Alguns dos liquidificadores são muito simples e baratos, outros são muito sofisticados e mais caros. Seus dados consistem, para cada mês, nos preços de cada liquidificador (que são fixados por ele) e no número de unidades vendidas para cada modelo....
Uma das motivações para a rede elástica foi a seguinte limitação do LASSO: No caso p>np>np > n , o laço seleciona no máximo n variáveis antes de saturar, devido à natureza do problema de otimização convexa. Esse parece ser um recurso limitante para um método de seleção de variáveis. Além...
Eu queria saber quanto do aprendizado de máquina requer otimização. Pelo que ouvi, estatísticas é um tópico matemático importante para pessoas que trabalham com aprendizado de máquina. Da mesma forma, qual é a importância de alguém que trabalha com aprendizado de máquina para aprender sobre...
O classificador Naive Bayes é o classificador que atribui itens a uma classe base na maximização do posterior para associação à classe e assume que os recursos dos itens são independentes.CxxxCCCP(C|x)P(C|x)P(C|x) A perda de 0-1 é a perda que atribui a qualquer classificação incorreta uma perda de...
Objetivo Confirme se o entendimento da KKT está correto ou não. Procure mais explicações e confirmações na KKT. fundo Tentando entender as condições KKT, especialmente a complementar, que sempre aparece do nada nos artigos SVM. Não preciso de uma lista de fórmulas abstratas, mas de uma...
Normalmente, em regressão logística, ajustamos um modelo e obtemos algumas previsões sobre o conjunto de treinamento. Em seguida, validamos cruzadamente essas previsões de treinamento (algo como aqui ) e decidimos o valor do limite ideal com base em algo como a curva ROC. Por que não incorporamos...
log(y|X,θ)=−12yTK−1yy−12log(det(K))−n2log(2π)log(y|X,θ)=−12yTKy−1y−12log(det(K))−n2log(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2}
Estou trabalhando em um projeto para filtragem colaborativa (CF), ou seja, concluindo uma matriz parcialmente observada ou, mais geralmente, tensor. Eu sou um novato em campo e, para este projeto, eventualmente, tenho que comparar nosso método com outros conhecidos que, atualmente, os métodos...
Existem grupos de pesquisa trabalhando no aprendizado profundo para problemas de otimização combinatória?
Estou realizando experimentos no conjunto de validação EMNIST usando redes com RMSProp, Adam e SGD. Estou atingindo uma precisão de 87% com SGD (taxa de aprendizado de 0,1) e desistência (prob de desistência de 0,1), bem como regularização de L2 (penalidade 1e-05). Ao testar a mesma configuração...
Tenho uma pergunta sobre a otimização de parâmetros quando uso a validação cruzada de 10 vezes. Quero perguntar se os parâmetros devem ser corrigidos ou não durante o treinamento do modelo de cada dobra, ou seja, (1) selecione um conjunto de parâmetros otimizados para a precisão média de cada...
Queria entender melhor o teste exato de Fisher, então inventei o seguinte exemplo de brinquedo, em que f e m correspondem a homens e mulheres e n e y correspondem a "consumo de refrigerante" como este: > soda_gender f m n 0 5 y 5 0 Obviamente, isso é uma simplificação drástica, mas eu não...
Aqui está um exemplo de código keras que o usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
TL; DR: a lme4otimização parece linear no número de parâmetros do modelo por padrão e é muito mais lenta que um glmmodelo equivalente com variáveis dummy para grupos. Existe algo que eu possa fazer para acelerar isso? Estou tentando ajustar um modelo de logit hierárquico bastante grande (~ 50k...
Para evitar o excesso de ajuste nas pessoas, adicione um termo de regularização (proporcional à soma quadrada dos parâmetros do modelo) com um parâmetro de regularização à função de custo da regressão linear. Esse parâmetro o mesmo que um multiplicador de intervalo? Então, a regularização é igual...
Estou tentando entender o processo de treinamento de uma máquina de vetores de suporte linear . Percebo que as propriedades dos SMVs permitem que elas sejam otimizadas muito mais rapidamente do que usando um solucionador de programação quadrática, mas, para fins de aprendizado, gostaria de ver como...