Em estatística, isso se refere à seleção de um estimador de um parâmetro, maximizando ou minimizando alguma função dos dados. Um exemplo muito comum é a escolha de um estimador que maximiza a densidade da junta (ou função de massa) dos dados observados, denominado Estimativa de Máxima Verossimilhança (MLE).
Atualmente, estou trabalhando na implementação da descida estocástica de gradiente SGD, para redes neurais usando propagação traseira, e enquanto eu entendo seu objetivo, tenho algumas perguntas sobre como escolher valores para a taxa de aprendizado. A taxa de aprendizado está relacionada à forma...
Portanto, não consegui encontrar nenhuma literatura sobre esse assunto, mas parece que vale a pena pensar em algo: Quais são as melhores práticas no treinamento e otimização de modelos se novas observações estiverem disponíveis? Existe alguma maneira de determinar o período / frequência de...
Ao treinar redes neurais, um hiperparâmetro é do tamanho de um minibatch. As opções comuns são 32, 64 e 128 elementos por mini lote. Existem regras / diretrizes para o tamanho de um mini lote? Alguma publicação que investiga o efeito no
Gostaria de saber se existe algum cenário em que a descida do gradiente não converja ao mínimo. Estou ciente de que nem sempre é garantido que a descida do gradiente converja para um ótimo global. Também estou ciente de que ele pode divergir de um ótimo se, digamos, o tamanho da etapa for muito...
Eu tenho usado redes neurais por um tempo agora. No entanto, uma coisa com a qual luto constantemente é a seleção de um otimizador para treinar a rede (usando backprop). O que eu costumo fazer é apenas começar com um (por exemplo, SGD padrão) e, em seguida, tentar outros de maneira aleatória....
Ouvi Andrew Ng (em um vídeo que infelizmente não consigo mais encontrar) falar sobre como a compreensão dos mínimos locais em problemas de aprendizagem profunda mudou no sentido de que agora eles são considerados menos problemáticos porque em espaços de alta dimensão (encontrados em aprendizado...
Quero saber se a descida de gradiente é o principal algoritmo usado em otimizadores como Adam, Adagrad, RMSProp e vários outros otimizadores.
Pelo meu entendimento, os algoritmos genéticos são ferramentas poderosas para otimização multiobjetivo. Além disso, o treinamento de redes neurais (especialmente as profundas) é difícil e tem muitos problemas (funções de custo não convexas - mínimos locais, gradientes de fuga e explosão...
Parece que o otimizador Adaptive Moment Estimation (Adam) quase sempre funciona melhor (atingindo um mínimo global mais rápido e confiável) ao minimizar a função de custo no treinamento de redes neurais. Por que nem sempre usa Adam? Por que se preocupar em usar o RMSProp ou otimizadores de...
A página da Wikipedia que cita "Os elementos do aprendizado estatístico" diz: Normalmente, para um problema de classificação com os recursos , os recursos são usados em cada divisão.ppp⌊ p-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Entendo que esse é um palpite bastante bom e provavelmente foi confirmado...
A função base R glm()usa a Pontuação de Fishers para o MLE, enquanto a função glmnetparece usar o método de descida de coordenadas para resolver a mesma equação. A descida de coordenadas é mais eficiente em termos de tempo que a pontuação de Fisher, pois a pontuação de Fisher calcula a matriz...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 anos . Estou
Estou usando o tensorflow para escrever redes neurais simples para um pouco de pesquisa e tive muitos problemas com pesos 'nan' durante o treinamento. Tentei muitas soluções diferentes, como alterar o otimizador, alterar a perda, o tamanho dos dados, etc., mas sem sucesso. Por fim, notei que uma...
Em trabalhos como esse , muitas vezes vejo curvas de treinamento com esse tipo de forma: Nesse caso, o SGD foi utilizado com um fator de 0,9 e a taxa de aprendizado diminuiu de 10 a cada 30 épocas. Por que existe uma redução tão grande no erro quando a taxa de aprendizado é alterada? Por que o...
ao fazer um curso on-line sobre aprendizado de máquina por Andrew Ng no coursera, deparei-me com um tópico chamado sobreajuste . Eu sei que isso pode ocorrer quando a descida do gradiente é usada na regressão logística ou linear, mas pode ocorrer quando são usados algoritmos de Otimização...
Eu tenho uma Xmatriz, uma yvariável e outra variável ORTHO_VAR. Preciso prever a yvariável usando X, no entanto, as previsões desse modelo precisam ser ortogonais e, ao ORTHO_VARmesmo tempo, estar o mais correlacionadas ypossível. Eu preferiria que as previsões fossem geradas com um método não...
ReLU é uma função de ativação definida como h=max(0,a)h=max(0,a)h = \max(0, a)onde .a=Wx+ba=Wx+ba = Wx + b Normalmente, treinamos redes neurais com métodos de primeira ordem, como SGD, Adam, RMSprop, Adadelta ou Adagrad. A retropropagação em métodos de primeira ordem requer derivada de primeira...
Há algum tempo, procuro exemplos de como eu poderia encontrar os pontos nos quais uma função atinge o mínimo usando uma abordagem de algoritmo genético em Python. Eu olhei para a documentação do DEAP, mas os exemplos eram muito difíceis de seguir. Por exemplo: def function(x,y): return...