Enquanto aprendia sobre o Gradient Boosting, não ouvi nenhuma restrição sobre as propriedades de um "classificador fraco" que o método usa para criar e agrupar modelos. No entanto, eu não conseguia imaginar uma aplicação de um GB que usa regressão linear e, de fato, quando realizei alguns testes -...
Estou tentando aumentar o gradiente em um conjunto de dados com taxa de eventos de cerca de 1% usando o Enterprise miner, mas está falhando em produzir qualquer saída. Minha pergunta é: como é uma abordagem baseada em árvore de decisão, é correto usar o aumento de gradiente com um evento tão...
O problema é: Derive o gradiente em relação à camada de entrada para uma rede neural de camada única oculta usando sigmoid para entrada -> oculta, softmax para oculta -> saída, com perda de entropia cruzada. Eu posso passar a maior parte da derivação usando a regra de cadeia, mas não...
Que situações sabemos onde a descida do gradiente pode convergir (para um ponto crítico ou para um mínimo local / global) para funções não convexas? Para o SGD em funções não convexas, um tipo de prova foi revisado aqui, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf...
Eu fiz uma rede neural convolucional e queria verificar se meus gradientes estão sendo calculados corretamente usando a verificação numérica de gradiente. A questão é, quão perto está o suficiente? Minha função de verificação apenas cospe a derivada calculada, a derivada numericamente aproximada,...
Baseado na árvore de aumento de gradiente vs floresta aleatória . GBDT e RF usando estratégias diferentes para lidar com tendências e variações. Minha pergunta é: posso alterar a amostra do conjunto de dados (com substituição) para treinar vários GBDT e combinar suas previsões como resultado...