Eu já vi o outro tópico aqui, mas não acho que a resposta tenha satisfeito a pergunta real. O que eu tenho lido continuamente é que Naive Bayes é um classificador linear (por exemplo: aqui ) (de modo que traça um limite de decisão linear) usando a demonstração de log odds.
No entanto, simulei duas nuvens gaussianas e ajustei um limite de decisão e obtive os resultados como tal (biblioteca e1071 em r, usando naiveBayes ())
Como podemos ver, o limite de decisão é não linear. Ele está tentando dizer que os parâmetros (probabilidades condicionais) são uma combinação linear no espaço de log, em vez de dizer que o próprio classificador separa os dados linearmente?
classification
naive-bayes
Kevin Pei
fonte
fonte
Respostas:
Você pode escrever qualquer classificador ingênuo de Bayes como *
e, portanto
Onde
* Veja como obter esse resultado:
fonte
É linear apenas se as matrizes de variação condicional da classe forem as mesmas para as duas classes. Para ver isso, anote a razão das partes posteriores do log e você obterá apenas uma função linear se as variações correspondentes forem as mesmas. Caso contrário, é quadrático.
fonte
Eu gostaria de acrescentar um ponto adicional: a razão de uma certa confusão está no que significa estar executando a "classificação Naive Bayes".
Sob o tópico amplo de "Análise Gaussiana Discriminante (GDA)", existem várias técnicas: QDA, LDA, GNB e DLDA (DA quadrática, DA linear, DA bayes ingênuas gaussianas, LDA diagonal). [ATUALIZADO] O LDA e o DLDA devem ser lineares no espaço dos preditores fornecidos. (Veja, por exemplo, Murphy , 4.2, pág. 101 para DA e pág. 82 para NB. Nota: GNB não é necessariamente linear. NB discreto (que usa uma distribuição multinomial sob o capô) é linear. Você também pode conferir Duda , Seção Hart & Stork 2.6). O QDA é quadrático, como outras respostas apontaram (e acho que é o que está acontecendo no seu gráfico - veja abaixo).
Embora os documentos do e1071 afirmem que ele está assumindo independência condicional de classe (ou seja, GNB), desconfio que ele esteja realmente fazendo QDA. Algumas pessoas confundem "Bayes ingênuos" (fazendo suposições de independência) com "regra simples de classificação bayesiana". Todos os métodos GDA são derivados do posterior; mas apenas o GNB e o DLDA usam o primeiro.
Um grande aviso: não li o código-fonte e1071 para confirmar o que está fazendo.
fonte