Assim, na modelagem de texto (não supervisionada), a Alocação de Dirichlet Latente (LDA) é uma versão bayesiana da Análise Semântica Latente Probabilística (PLSA). Essencialmente, LDA = PLSA + Dirichlet anteriormente sobre seus parâmetros. Meu entendimento é que o LDA agora é o algoritmo de referência e é implementado em vários pacotes, enquanto o PLSA não deve mais ser usado.
Mas na categorização de texto (supervisionada), poderíamos fazer exatamente o mesmo para o classificador multinomial Naive Bayes e colocar um Dirichlet antes dos parâmetros. Mas acho que nunca vi alguém fazer isso, e a versão "estimativa pontual" da multinacional Naive Bayes parece ser a versão implementada na maioria dos pacotes. Há alguma razão para isso?
fonte
Suspeito que a maioria das implementações de NB permita a estimativa das probabilidades condicionais com a correção de Laplace , que fornece uma solução de MAP para o classificador Bayesian NB (com um Dirichlet específico). Como @Zhubarb (+1) aponta, os tratamentos bayesianos dos classificadores de RN já foram derivados e implementados (vale a pena ler a tese / os documentos de Rennie). No entanto, a suposição de independência do RN quase sempre está errada; nesse caso, tornar o modelo mais fortemente dependente dessa suposição (por meio de um tratamento bayesiano completo) pode não ser uma boa coisa a se fazer.
fonte
Não acredito que o que você descreve seja verdadeiro. Os modelos probabilísticos para LDA e MNB são diferentes.
Uma diferença principal entre as duas é que, no modelo generativo para LDA, quando uma palavra é desenhada, primeiro um tópico para essa palavra é escolhido e, em seguida, uma palavra dessa distribuição de tópicos é escolhida. Como cada palavra em um documento pode ser extraída de um tópico diferente.
No modelo generativo para MNB, o documento recebe uma classe e todas as palavras desse documento são extraídas da (mesma) distribuição para essa classe.
fonte