Probabilidade de log versus produto de probabilidades

De acordo com este artigo da Wikipedia , pode-se representar o produto de probabilidades x⋅ycomo -log(x) - log(y)tornando o cálculo mais ótimo computacionalmente. Mas se eu tentar um exemplo, diga:

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

O produto das probabilidades p1e p2é maior que o de p3e p4, mas a probabilidade do log é menor.

Por quê?

probability logarithm arithmetic spacemonkey
fonte

O que há de errado? Probabilidades menores vai dar valores maiores porque aumenta de quando em direcção como .

- \log p

$-\log p$

0

$0$

p = 1

$p=1$

\infty

$\infty$

p \to 0

$p \to 0$

Dilip Sarwate

(+1) Por que voto negativo? Eu acho que essa é uma pergunta bem escrita sobre o assunto, embora muito elementar.

Juho Kokkala

@DilipSarwate, meu problema não é com a parte matemática, mas com essa maneira particular de representar probabilidades. Talvez seja apenas uma questão de se sentir confortável com isso.

Spacemonkey #

Respostas:

Receio que você tenha entendido mal o que o artigo pretende. Isso não é uma grande surpresa, pois está escrito de maneira pouco clara. Há duas coisas diferentes acontecendo.

O primeiro é simplesmente trabalhar na escala de log.

Ou seja, em vez de " " (quando você tiver independência), pode-se escrever " ". Se você precisar da probabilidade real, poderá exponenciar no final para retornar : mas se necessário em no geral, a exponenciação seria normalmente deixada para o último passo possível. Por enquanto, tudo bem. $p_{AB} = p_A\cdot p_B$ $\log(p_{AB}) = \log(p_A)+ \log(p_B)$ $p_{AB}$ $\qquad p_{AB}=e^{\log(p_A)+ \log(p_B)}\,,$

A segunda parte está substituindo por . É assim que trabalhamos com valores positivos. $\log p$ $-\log p$

Pessoalmente, não vejo muito valor nisso, especialmente porque inverte a direção de qualquer pedido ( é monotônico aumentando, portanto, se , então ; essa ordem é invertido com ). $\log$ $p_1<p_2$ $\log(p_A)< \log(p_2)$ $-\log p$

Essa reversão parece preocupá-lo, mas é uma conseqüência direta da negação - deve ocorrer com probabilidades de log negativas. Pense na probabilidade logarítmica negativa como uma escala de "raridade" - quanto maior o número, mais raro o evento é (o artigo se refere a ele como "valor surpresa", ou surpresa , que é outra maneira de pensar sobre isso). Se você não gostar dessa reversão, trabalhe com . $\log p$

Para converter probabilidades de log negativo novamente em probabilidades, você deve negar antes de exponenciar. Se dissermos ( para 'valor surpresa'), entãoComo você vê, isso reverte a direção uma segunda vez, devolvendo o que precisamos. $s_i = -\log(p_i)$ $s$ $p_{AB}=e^{-[s_A+ s_B]}\,.$

Glen_b -Reinstate Monica
fonte

+1 "Pense na probabilidade de log negativo como uma escala de" raridade "- quanto maior o número, mais raro o evento é"

Zhubarb