Random forest vs Adaboost

10

Na seção 7 do artigo Random Forests (Breiman, 1999), o autor afirma a seguinte conjectura: "Adaboost é uma floresta aleatória".

Alguém já provou ou refutou isso? O que foi feito para provar ou refutar este post de 1999?

machine-learning random-forest boosting Alex
fonte
Por favor, leia stats.stackexchange.com/questions/77018/… Talvez você encontre sua resposta lá
@ user75008 Obrigado! Portanto, a seção 7 fornece outra conjectura, que, se comprovada, mostra que o adaboost é equivalente a floresta aleatória. Alguém mostrou que essa conjectura é verdadeira?
Alex
@ user75008 Estou lendo seu link, stats.stackexchange.com/questions/77018/… , você acha que isso sugere que o Adaboost não é equivalente ao Random Forest?
Alex

Respostas:

3

Pergunta interessante. Desde então, foi feito um monte de trabalho para explicar o aumento de ada por meio de algumas táticas diferentes.

Fiz uma rápida pesquisa bibliográfica e este artigo um tanto estranho parece ser o mais recente sobre o assunto e também analisa um monte de trabalhos intercalados de Brieman e outros:

http://arxiv.org/pdf/1212.1108.pdf

Não tenho idéia se os resultados são válidos, mas afirmam ter falhado em provar a conjectura de Brieman, mas provaram uma versão enfraquecida, alegando que o adaboost é uma medida que preserva, mas não necessariamente ergódica.

Eles também apresentam algumas evidências empíricas de que o adaboost, de fato, às vezes superajusta.

Eu acho que isso sugere que o adaboost pode estar relacionado a uma floresta aleatória, mas nem inteiramente (ou nem sempre) equivalente na maneira como Brieman conjeturou?

Ryan Bressler
fonte
obrigado, então acho que essa ainda é uma pergunta em aberto, mas sua última declaração é reveladora.
Alex
11
Sim, acho que ainda está aberto. Também acho que o interesse caiu na análise do AdaBoost à medida que as máquinas [estocásticas] de aumento de gradiente se tornaram mais populares. O AdaBoost é uma forma de descida de gradiente ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) e pensar em termos de descida de gradiente explicitamente aleatória pode ser mais intuitivo e prático do que a equivalência proposta por Brieman. (Ou seja, mesmo se fosse verdade, pode ser muito difícil de amostra a partir da distribuição necessária na prática.)
Ryan Bressler
Acabei de ver este novo artigo sobre o assunto: arxiv.org/pdf/1504.07676v1.pdf
Ryan Bressler
Muito interessante se for verdade! "Concluímos que o reforço deve ser usado como florestas aleatórias: com grandes árvores de decisão e sem regularização direta ou parada antecipada".
Alex