Eu sempre subscrevi a sabedoria popular de que diminuir a taxa de aprendizado em um gbm (modelo de árvore com gradiente aumentado) não prejudica o desempenho fora da amostra do modelo. Hoje não tenho tanta certeza. Estou ajustando modelos (minimizando a soma dos erros ao quadrado) no conjunto de...
Podemos generalizar todos os métodos de conjunto usando votação? Os métodos de reforço também usam o voto para colocar os alunos fracos no modelo final? Minha compreensão da técnica: Impulsionar: adiciona continuamente um aluno fraco para aumentar os pontos de dados que não foram classificados...
Algoritmos de reforço, como o AdaBoost , combinam vários classificadores 'fracos' para formar um único classificador mais forte. Embora em teoria o aumento deva ser possível com qualquer classificador de base, na prática parece que os classificadores baseados em árvore são os mais comuns. Por que...
Baseado na árvore de aumento de gradiente vs floresta aleatória . GBDT e RF usando estratégias diferentes para lidar com tendências e variações. Minha pergunta é: posso alterar a amostra do conjunto de dados (com substituição) para treinar vários GBDT e combinar suas previsões como resultado...
Digamos que você treine dois modelos diferentes do Gradient Boosting Classifier em dois conjuntos de dados diferentes. Você usa a validação cruzada de exclusão única e plota os histogramas de previsões que os dois modelos produzem. Os histogramas são assim: e isto: Portanto, em um caso, as...
Este é um problema de classificação binária. A métrica que está sendo minimizada é a perda de log (ou entropia cruzada). Eu também tenho um número de precisão, apenas para minhas informações. É um conjunto de dados grande e muito equilibrado. Técnicas de previsão muito ingênuas obtêm cerca de 50%...