Compreensão de bayes ingênuos: computando as probabilidades condicionais

Para uma tarefa de análise de sentimentos, suponha que tenhamos algumas classes representadas por características . $c$ $i$

Podemos representar a probabilidade condicional de cada classe como: que representa cada recurso e é a classe temos. , podemos representar Nossos antecedentes para cada classe são dados por: que:

P (c | w_{i}) = \frac{P (w_{i} | c) \cdot P (c)}{P (w_{i})}

$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)}$

w_{i}

$w_i$

c

$c$

P (w_{i} | c) = \frac{n_{c i}}{n_{c}}

$P(w_i|c) = \frac{n_{ci}}{n_c}$

P (w_{i}) = \frac{n_{i}}{n}

$P(w_i) = \frac{n_{i}}{n}$

P (c) = \frac{n_{c}}{n}

$P(c) = \frac{n_c}{n}$

$n$ é o número total de recursos em todas as classes.

$n_{ci}$ representa o número de contagens desse recurso na classe . $i$ $c$

$n_c$ é o número total de recursos da classe e

$n_i$ é o número total de recursos para todas as classes.

O meu entendimento do que foi dito acima está correto? Portanto, dadas essas probabilidades de para cada palavra, sou a ingênua suposição de bayes que as palavras são independentes, então simplesmente multiplico cada palavra em um documento para uma determinada classe, ou seja, para calcular que é o número de palavras no documento. Isso está correto? $P(c|w_i)$ $\prod P(c|w_i), i \in N$ $N$

Para realmente calcular numericamente a probabilidade condicional, basta fazer o seguinte:

P (c | w_{i}) = \frac{P (w_{i} | c) \cdot P (c)}{P (w_{i})} = \frac{n_{c i}}{n_{c}} \cdot \frac{n_{c}}{n} \cdot \frac{n}{n_{i}} = \frac{n_{c i}}{n_{i}}

$P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)} = \frac{n_{ci}}{n_c} \cdot \frac{n_c}{n}\cdot \frac{n}{n_i} = \frac{n_{ci}}{n_i}$

A última parte da equação parece um pouco suspeita para mim, pois parece muito simples de calcular para uma probabilidade bastante complexa.

machine-learning nlp naive-bayes-classifier sentiment-analysis natural-language-process user19241256
fonte

Respostas:

Sua fórmula está correta para um , mas se você deseja classificar um documento, precisa calcular . $w_i$ $P(c | w_1,\ldots,w_N)$

Então você tem

P (c | w_{1}, \dots, w_{N}) = \frac{P (c) \cdot P (w_{1}, \dots, w_{N} | c)}{P (w_{1}, \dots, w_{N})} = \frac{P (c) \cdot \prod_{i = 1}^{N} P (w_{i} | c)}{P (w_{1}, \dots, w_{N})} \neq \prod_{i = 1}^{N} P (c | w_{i})

$P(c | w_1,\ldots,w_N) = \frac{P(c)\cdot P(w_1,\ldots,w_N|c)}{P(w_1,\ldots,w_N)} = \frac{P(c) \cdot \prod_{i=1}^N P(w_i|c)}{P(w_1,\ldots,w_N)} \neq \prod_{i=1}^NP(c|w_i)$

onde a segunda equação é válida por causa da ingênua suposição de Bayes.

Para fins de classificação, você pode ignorar porque é constante (dados os dados). A fórmula ainda é simples ("ingênua"), mas não simplifica tanto. $P(w_1,\ldots,w_N)$

A última parte da equação parece um pouco suspeita para mim, pois parece muito simples de calcular para uma probabilidade bastante complexa.

Lembre-se de que, embora o Naïve Bayes seja um classificador decente para muitas aplicações, as probabilidades geradas geralmente não são muito representativas.

oW_
fonte

Obrigado pela sua resposta. Em programas reais, por que esse resultado não pode ser alcançado? Eu já vi muitas implementações de bayes ingênuos e nenhuma delas vai diretamente para calcular uma palavra.

n_{c i}

$n_{ci}$

precisa saber é o seguinte

não sei se entendi a pergunta ... de uma forma ou de outra, tudo se resumia a contar. Você pode dar um exemplo?

oW_