LDA multi classe vs LDA de 2 classes

O problema de projetar um classificador de várias classes usando o LDA pode ser expresso como um problema de 2 classes (um vs todo o resto) ou um problema de várias classes .

Por que, em certos casos, o classificador LDA de várias classes supera o LDA de 2 classes (um vs todo o resto) ou vice-versa .

machine-learning classification pattern-recognition discriminant-analysis garak
fonte

Você poderia adicionar detalhes à sua pergunta bastante reservada. Exemplos. E você considera aqui os dois estágios da LDA - extração e classificação - ou apenas classificação?

ttnphns

bem, estou tentando projetar um vetor de 27 dimensões para dimensões mais baixas e comparar os vetores. O motivo é projetar uma técnica de classificação simples para classificar o melhor possível.

Garak

Ocasionalmente, você pode encontrar dados quando uma classificação de duas classes é mais precisa (por exemplo, quando uma classe está distante, "outlier", das demais, próximas umas das outras. .. deve vir a ser melhor em primeiro lugar, k classes permitem eixos mais discriminantes em segundo lugar, um grupo de K-1 aulas geralmente não se espera que siga distribuição normal multivariada em que a fase de classificação LDA depende de resposta See de JohnSmith..

ttnphns

Respostas:

Eu acho que o classificador LDA multi-classe sempre (bem, na maioria das tarefas práticas) supera o LDA de 2 classes. E tentarei descrever o porquê.

Veja o exemplo do conjunto de dados: conjunto de dados de amostra com três classes

Você tem três aulas aqui. Digamos que você queira criar um classificador um contra outro com LDA para a classe azul.

A média estimada para a classe "azul" é zero, mas a média estimada para a classe "outro" também é zero. E a covariância é a mesma da definição de LDA. Isso significa que o LDA responderá com o rótulo que possui mais elementos. E nunca retornará a classe "azul"!

Para o LDA de várias classes, ele conseguirá encontrar as classes certas perfeitamente.

O pano de fundo disso é que a mistura de gaussianos não é mais gaussiana na maioria dos casos. Portanto, essa suposição de LDA falha. E devo dizer que é realmente difícil criar um exemplo de um conjunto de dados em que todas as classes sejam gaussianas, e elas ainda gaussianas depois de nos juntarmos a elas.

É por isso que eu recomendo usar o LDA de várias classes. Espero que ajude!

Dmitry Laptev
fonte

Acho que o que John mostrou muito bem aqui é que o LDA para duas classes usa uma única linha para separar as classes. Mas, no exemplo, a boa classificação requer duas linhas, que são feitas em um problema de três classes.

Michael R. Chernick

@ MichaelChernick, sim, exatamente, essa é uma explicação sob os outros pontos de vista, obrigado pelo seu comentário!

Dmitry Laptev

obrigado pela resposta rápida pessoal! No entanto, encontrei alguns dias atrás, um caso em que um LDA de várias classes (precisão de 60%) está apresentando um desempenho muito menos eficiente que um LDA de 2 classes (precisão de mais de 80%) em um problema de classificação de 10 classes.

Garak

@MichaelChernick, mas se você usar o LDA como um método de projeção, poderá decidir manter duas dimensões (os dois vetores eigen de maiores valores eigen) e obter a separação que está procurando (usando um método de classificação kNN em vez de separar planos) ou estou perdendo algo óbvio?

Matthieu #