As técnicas de reforço usam o voto como qualquer outro método de conjunto?

8

Podemos generalizar todos os métodos de conjunto usando votação? Os métodos de reforço também usam o voto para colocar os alunos fracos no modelo final?

Minha compreensão da técnica:

  • Impulsionar: adiciona continuamente um aluno fraco para aumentar os pontos de dados que não foram classificados corretamente.
  • Técnica do conjunto: usa vários alunos para obter uma previsão melhor do que apenas um. Isso é explicado na wikipedia.
pritywiz
fonte

Respostas:

7

O aumento pode geralmente ser entendido como votação (ponderada)

No caso de impulsionar, um de seus inventores fornece uma resposta afirmativa nesta introdução ao AdaBoost (ênfase minha):

A hipótese final ou combinada calcula o sinal de uma combinação ponderada de hipóteses fracas Isso equivale a dizer que é computado como voto majoritário ponderado de as hipóteses fracas que cada uma recebe peso . (Neste capítulo, usamos os termos "hipótese" e "classificador" de forma intercambiável.)F ( x ) = T t = 1 α t h t ( x ) H h t α tH

F(x)=t=1Tαtht(x)
H htαt

Portanto, sim, o modelo final retornado é um voto ponderado de todos os alunos fracos treinados para essa iteração. Da mesma forma, você encontrará este trecho na Wikipedia sobre impulsionar em geral:

Embora o aumento não seja restrito por algoritmos, a maioria dos algoritmos de aumento consiste em aprender iterativamente classificadores fracos com relação a uma distribuição e adicioná-los a um classificador forte final. Quando são adicionados, geralmente são ponderados de alguma forma que geralmente está relacionada à fraca precisão dos alunos.

Observe também a menção de que os algoritmos de reforço originais usavam uma "maioria". A noção de votação é bastante firme para impulsionar: Seu princípio orientador é melhorar um conjunto a cada iteração, adicionando um novo eleitor e depois decidindo quanto peso dar a cada voto.

Essa mesma intuição se aplica ao exemplo do aumento de gradiente : a cada iteração , encontramos um novo aprendiz ajustado a pseudo-resíduos, depois otimizamos para decidir quanto peso dar "voto" a .h m γ m h mmhmγmhm

A extensão a todos os métodos de conjunto é executada em contra-exemplos

Alguns acreditam que mesmo a noção de ponderação amplia a metáfora do voto. Ao considerar se deseja estender essa intuição a todos os métodos de aprendizado de conjunto , considere este trecho:

Os conjuntos combinam várias hipóteses para formar uma (espero) melhor hipótese. O termo conjunto geralmente é reservado para métodos que geram múltiplas hipóteses usando o mesmo aluno base.

E este no método de conjunto de exemplo de empilhamento :

O empilhamento (às vezes chamado de generalização empilhada) envolve o treinamento de um algoritmo de aprendizado para combinar as previsões de vários outros algoritmos de aprendizado. Primeiro, todos os outros algoritmos são treinados usando os dados disponíveis; depois, um algoritmo combinador é treinado para fazer uma previsão final usando todas as previsões dos outros algoritmos como entradas adicionais. Se um algoritmo combinador arbitrário for usado, o empilhamento pode teoricamente representar qualquer uma das técnicas de conjunto descritas neste artigo, embora, na prática, um modelo de regressão logística de camada única seja frequentemente usado como combinador.

Se você estiver definindo métodos de conjunto para incluir métodos de empilhamento com um combinador arbitrário, poderá construir métodos que, a meu ver, ampliem a noção de votação além do seu limite. É difícil ver como uma coleção de alunos fracos combinada por meio de uma árvore de decisão ou rede neural pode ser vista como "votação". (Deixando de lado a questão também difícil de quando esse método pode ser praticamente útil.)

Algumas apresentações descrevem conjuntos e votação como sinônimos; Não estou familiarizado o suficiente com a literatura recente sobre esses métodos para dizer como esses termos geralmente são aplicados recentemente, mas espero que essa resposta dê uma idéia de até que ponto a noção de votação se estende.

Sean Easter
fonte
Por favor, explique como a votação é feita na máquina de aumento de gradiente. Um aluno fraco é adicionado a cada iteração, então onde está votando aqui. Podemos generalizar a votação para ser usada em todas as técnicas de reforço e também em todas as técnicas de conjunto?
Pritywiz 9/03
1
γm
1
Para o segundo, não acredito que a metáfora da votação leve água para todos os métodos do conjunto. Se você ler sobre empilhamento, conforme descrito em exemplos comuns aqui , verá que um algoritmo combinador arbitrário pode ser usado, tratando as previsões de outros alunos como entrada. É difícil ver como alguém poderia considerar, por exemplo, uma árvore de decisão um mecanismo de votação entre os alunos. Isso é útil?
Sean Páscoa
4

Impulsionar é diferente de ensacamento (votação). Não vejo uma maneira de interpretar o aumento como "votação" (consulte minha edição para obter detalhes adicionais).

  • Votar (especialmente voto majoritário) geralmente significa decisão combinada de classificadores de semana "separados / menos correlacionados".

  • Ao impulsionar, estamos construindo um classificador sobre outro. Portanto, eles não são "pares separados", mas um é "menos fraco que outro".

Minhas respostas aqui dão um detalhamento otimizado por iterações.

Como a base linear mais enxuta funciona para impulsionar? E como funciona na biblioteca xgboost?

O exemplo está tentando aproximar uma função quadrática, aumentando o toco de decisão.

  • As duas primeiras parcelas são verdadeiras e modelo de impulso depois de muitas iterações. São gráficos de contorno. Os eixos X e Y são dois recursos e o valor da função é representado pela cor.

insira a descrição da imagem aqui

  • Então, eu estou mostrando as primeiras 4 iterações. Você pode ver que não estamos fazendo a média / votação de 4 modelos, mas aprimore o modelo em cada iteração.

insira a descrição da imagem aqui


Depois de ver outra resposta, sinto que a resposta a essa pergunta depende de como definimos "votação". Consideramos a soma ponderada como votação? Se sim, acho que ainda podemos dizer que o aumento pode ser generalizado com a votação.

Haitao Du
fonte
Entendo que o impulso é explicado corretamente, enquanto no Adaboost podemos dizer que o voto majoritário ponderado de todos os classificadores fracos é o classificador final, mas não é o mesmo no caso do GBM. Portanto, não podemos generalizar a votação para ser usada em todas as técnicas de conjunto, não é? Estou perplexo .. e precisamente minha confusão ..
pritywiz
1
@pritywiz Acho que outra resposta também está certa. A palavra "votação" não é muito clara. A forma final do GBM ainda é aditiva com pesos diferentes. Consideramos soma ponderada = votação?
Haitao Du