Na verdade, tudo se resume a uma das técnicas "3B": ensacamento, reforço ou mistura.
No ensacamento, você treina muitos classificadores em diferentes subconjuntos de objetos e combina respostas, em média, para regressão e votação para classificação (existem outras opções para situações mais complexas, mas eu vou pular). A proporção / variação do voto pode ser interpretada como aproximação de erro, uma vez que os classificadores individuais são geralmente considerados independentes. RF é de fato um conjunto de ensacamento.
O impulso é uma família de métodos mais ampla, no entanto, o ponto principal é que você construa o próximo classificador nos resíduos do primeiro, dessa maneira (em teoria) aumentando gradualmente a precisão, destacando interações cada vez mais sutis. Assim, as previsões são geralmente combinadas somando-as, algo como calcular um valor de uma função em x somando valores dos elementos de suas séries de Taylor para x.
As versões mais populares são o aumento de gradiente (estocástico) (com boa base matemática) e o AdaBoost (bem conhecido, de fato, um caso específico de GB). De uma perspectiva holística, a árvore de decisão é um impulsionador de classificadores dinâmicos triviais.
Misturar é uma idéia de aninhar classificadores, ou seja, executar um classificador em um sistema de informações feito de previsões de outros classificadores. Sendo assim, é um método muito variável e certamente não um algoritmo definido; pode exigir muitos objetos (na maioria dos casos, o classificador "blender" deve ser treinado em um conjunto de objetos que não foram usados para criar os classificadores parciais para evitar um super ajuste embaraçoso).
As previsões dos classificadores parciais são obviamente combinadas, combinando-as em um sistema de informação previsto pelo liquidificador.