Como alguém determinará que um classificador tem alto viés ou alta variação?

7

O viés e a variação de um classificador determinam o grau em que ele pode desajustar e desajustar os dados, respectivamente. Como alguém pode determinar um classificador para ser caracterizado como alto viés ou alta variação?

Estou bem claro do que é uma troca de desvios de polarização e sua decomposição e como isso pode depender dos dados de treinamento e do modelo. Por exemplo, se os dados não contiverem informações suficientes relacionadas à função de destino (para simplificar, falta de amostras), o classificador sofrerá um alto viés devido às possíveis suposições incorretas. Pelo contrário, se o classificador se encaixar firmemente nos dados de treinamento fornecidos (por exemplo, uma RNA com muitos nós executando várias épocas ou uma árvore de decisão com grande profundidade), exibirá alta variação, pois não pode generalizar bem para prever o que não é visto amostras.

No entanto, há casos em que vejo palestras falando sobre a seleção de um classificador de alta polarização e baixa variação. Por exemplo, Bayes ingênuo é considerado um classificador de alto viés e baixa variância (presumo que seja devido à suposição de independência condicional). Como determinar isso? Então, como caracterizaremos SVM, ID3, Florestas Aleatórias ekNN? Eles têm alto viés ou alta variação?

Ébe Isaac
fonte

Respostas:

2

Presumo que você esteja interessado na qualidade intrínseca de um algoritmo. Esta é uma pergunta não trivial e o tópico da pesquisa ativa.

Os limites do viés e da variação de um algoritmo podem ser comprovados através da noção de estabilidade algorítmica - veja:

O artigo do arizona mostra a prova dos algoritmos K-NN e 1-NN, que é quase perfeitamente imparcial (página 4). Você terá que ler os outros papéis para outros tipos de algoritmos. Observe que nem todos os algoritmos têm provas ainda e que existem muitas formas diferentes de estabilidade com seus limites correspondentes.

Uma abordagem diferente (mas relacionada) é examinar a teoria do VC https://en.wikipedia.org/wiki/Vapnik%E2%80%93Chervonenkis_theory

Xavier Bourret Sicotte
fonte