Por que nem sempre usar a aprendizagem em conjunto?

13

Parece-me que a aprendizagem por conjuntos sempre oferecerá melhor desempenho preditivo do que com apenas uma única hipótese de aprendizagem.

Então, por que não os usamos o tempo todo?

Meu palpite é que talvez seja devido a limitações computacionais? (mesmo assim, usamos preditores fracos, então eu não sei).

jpmuc
fonte
2
Porque a aprendizagem em conjunto nem sempre oferece melhor desempenho. O empacotamento e o aprimoramento funcionam em alguns casos, mas podem prejudicar severamente o desempenho em outros.
Marc Claesen 29/07

Respostas:

12

Em geral, não é verdade que sempre terá um desempenho melhor. Existem vários métodos de conjunto, cada um com suas próprias vantagens / fraquezas. Qual deles usar e depois depende do problema em questão.

Por exemplo, se você possui modelos com alta variação (eles se ajustam demais aos seus dados), é provável que você se beneficie do uso de ensacamento. Se você possui modelos tendenciosos, é melhor combiná-los com o Boosting. Existem também estratégias diferentes para formar conjuntos. O tópico é amplo demais para cobrir uma resposta.

Mas o que quero dizer é: se você usar o método de conjunto errado para a sua configuração, não fará melhor. Por exemplo, usar o Bagging com um modelo tendencioso não ajuda.

Além disso, se você precisar trabalhar em um cenário probabilístico, os métodos de ensemble também podem não funcionar. É conhecido que o aumento (em suas formas mais populares como AdaBoost) fornece estimativas de probabilidade pobres. Ou seja, se você gostaria de ter um modelo que permita raciocinar sobre seus dados, não apenas a classificação, você pode se sair melhor com um modelo gráfico.

jpmuc
fonte
Um tronco de decisão é tendencioso, mas eles foram usados ​​com sucesso na ensacagem.
sim, mas o conjunto ainda é tendencioso. E se o viés for realmente um problema? Ensacamento não ajudará a corrigi-lo. Você poderia adicionar uma referência ao caso mencionado?
Jpmuc 29/07/2014