Minha configuração é a seguinte: Estou seguindo as diretrizes em "Modelagem Preditiva Aplicada". Assim, filtramos os recursos correlatos e terminamos com o seguinte: 4900 pontos de dados no conjunto de treinamento e 1600 pontos de dados no conjunto de teste. Eu tenho 26 recursos e o alvo é uma...
O parâmetro de taxa de aprendizado ( ) no Gradient Boosting reduz a contribuição de cada novo modelo de base - tipicamente uma árvore rasa - que é adicionada na série. Foi demonstrado que aumenta drasticamente a precisão do conjunto de testes, o que é compreensível, pois em etapas menores, o mínimo...
Nos livros de texto e nas palestras do youtube, aprendi muito sobre modelos iterativos, como impulsionar, mas nunca vi nada sobre derivar um intervalo de previsão. A validação cruzada é usada para o seguinte: Seleção de modelo : experimente diferentes modelos e escolha o que melhor se adapta. No...
Li o artigo de Alexandru Niculescu-Mizil e Rich Caruana, " Obtendo probabilidades calibradas de impulsionar " e a discussão neste tópico. No entanto, ainda estou tendo problemas para entender e implementar a logística ou o dimensionamento de Platt para calibrar a saída do meu classificador...
O stump de decisão é uma árvore de decisão com apenas uma divisão. Também pode ser escrito como uma função por partes. Por exemplo, suponha que é um vetor e é o primeiro componente de , na configuração de regressão, algum coto de decisão pode serx 1
A questão Estou lutando para entender como a previsão é mantida dentro do intervalo ao fazer a classificação binária com o Gradient Boosting.[0,1][0,1][0,1] Assumir que estamos a trabalhar sobre um problema de classificação binária, e a função objectiva é a perda de registo, , onde y é a variável...
Existem muitas postagens de blog, vídeos do YouTube etc. sobre as idéias de empacotar ou aumentar árvores. Meu entendimento geral é que o pseudo-código para cada um é: Ensacamento: Coletar N amostras aleatórias de x% das amostras e% de recursos Ajuste seu modelo (por exemplo, árvore de decisão)...
Em geral, em um problema de classificação em que o objetivo é prever com precisão a associação de classe fora da amostra, quando não devo usar um classificador de conjunto? Esta questão está intimamente relacionada a: Por que nem sempre usar a aprendizagem por conjuntos? . Essa pergunta pergunta...
A máquina de aumento de gradiente de Friedman pode obter melhor desempenho do que a Random Forest de Breiman ? Em caso afirmativo, em quais condições ou que tipo de conjunto de dados pode melhorar o
Estou lidando com um problema de classificação binária supervisionada. Eu gostaria de usar o pacote GBM para classificar os indivíduos como não infectados / infectados. Eu tenho 15 vezes mais não infectado do que indivíduos infectados. Eu queria saber se os modelos GBM sofrem no caso de tamanhos...
Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <-
Na verdade, eu pensei que tinha entendido o que se pode mostrar com um gráfico de dependência parcial, mas usando um exemplo hipotético muito simples, fiquei bastante confuso. No seguinte pedaço de código que geram três variáveis independentes ( a , b , c ) e uma variável dependente ( y ) com c que...
Estou tentando aumentar o gradiente em um conjunto de dados com taxa de eventos de cerca de 1% usando o Enterprise miner, mas está falhando em produzir qualquer saída. Minha pergunta é: como é uma abordagem baseada em árvore de decisão, é correto usar o aumento de gradiente com um evento tão...
Para aumentar os algoritmos, eu diria que eles evoluíram muito bem. No início de 1995, o AdaBoost foi introduzido e, depois de algum tempo, era o Gradient Boosting Machine (GBM). Recentemente, foi lançado o XGBoost, por volta de 2015, que é preciso, lida com o excesso de ajustes e se tornou...
Como ouvi falar do classificador AdaBoost mencionado repetidamente no trabalho, queria ter uma idéia melhor de como ele funciona e quando alguém pode usá-lo. Fui em frente e li vários artigos e tutoriais que encontrei no Google, mas há aspectos do classificador que ainda estou tendo problemas para...
Existe uma variante de reforço chamada gentleboost . Como o impulso suave difere do AdaBoost mais conhecido
Lendo a excelente modelagem estatística: As duas culturas (Breiman 2001) , podemos aproveitar toda a diferença entre modelos estatísticos tradicionais (por exemplo, regressão linear) e algoritmos de aprendizado de máquina (por exemplo, Bagging, Random Forest, Boosted trees ...). Breiman critica os...
Parece-me que a aprendizagem por conjuntos sempre oferecerá melhor desempenho preditivo do que com apenas uma única hipótese de aprendizagem. Então, por que não os usamos o tempo todo? Meu palpite é que talvez seja devido a limitações computacionais? (mesmo assim, usamos preditores fracos, então...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 4 meses . Existe uma boa biblioteca python para o...
Ao codificar recursos categóricos para regressão linear, existe uma regra: o número de manequins deve ser um a menos que o número total de níveis (para evitar colinearidade). Existe uma regra semelhante para as Árvores de Decisão (ensacadas, reforçadas)? Estou perguntando isso, porque uma prática...