Por que as distribuições de probabilidade se multiplicam aqui?

Seja por exemplo, o seu número de dias restantes. Um médico 1 avalia a distribuição de como um gaussiano: . Outro médico independente 2 avalia . Ambos os médicos são igualmente confiáveis. Como combinar as duas informações? $X$ $X$ $P(X)\sim\mathcal{N}(\mu_1,\sigma_1)$ $P(X)\sim\mathcal{N}(\mu_2,\sigma_2)$

No presente artigo de blog , o autor diz que

Se temos duas probabilidades e queremos saber a chance de ambas serem verdadeiras, apenas as multiplicamos. Então, pegamos os dois blobs gaussianos e os multiplicamos:

Editar A maioria das pessoas (eu fiz essa pergunta pela primeira vez em math.SE) respondeu que esta é a relação de independência trivial mas ainda estou tendo dificuldades para entender o que e neste contexto: provavelmente não eventos como "o dado dará um 3" ou "o paciente está doente". Além disso, provavelmente há algo mais, porque o produto de duas densidades não é uma densidade de probabilidade, uma vez que, em geral, . Portanto, provavelmente não é tão simples assim. $P(A\cap B)=P(A)P(B)$ $A$ $B$ $\int_\mathbb{R} P(x)^2 \neq 1$

Vamos dar outro exemplo. Um especialista 1 diz que um dado está perfeitamente equilibrado. Outro especialista 2 diz a você, independentemente, o mesmo. Então a probabilidade dos dados darem um 3 certamente não é 1/6 . $1/6^2$

probability normal-distribution compreendido
fonte

Respostas:

Essas operações estão sendo realizadas com probabilidade e não probabilidade. Embora a distinção possa ser sutil, você identificou um aspecto crucial: o produto de duas densidades nunca é uma densidade.

A linguagem do blog sugere isso - mas ao mesmo tempo, fica sutilmente errada -, então vamos analisá-la:

A média dessa distribuição é a configuração para a qual as duas estimativas são mais prováveis e, portanto, é o melhor palpite para a verdadeira configuração, considerando todas as informações que temos.

Já observamos que o produto não é uma distribuição. (Embora possa ser transformado em um via multiplicação por um número adequado, não é isso que está acontecendo aqui.)
As palavras "estimativas" e "melhor palpite" indicam que esse mecanismo está sendo usado para estimar um parâmetro - nesse caso, a "configuração verdadeira" (coordenadas x, y).
Infelizmente, a média não é o melhor palpite. O modo é Este é o princípio da máxima verossimilhança (ML).

$\mu$ $\mu$ $X_i$ $\mu$ $X_i$ $i$ $f_i$ $\mu$ $\mathcal{R}$ $\mathcal{R}$

Pr (X_{i} \in R) = \int_{R} f_{i} (x; μ) d x .

$\Pr(X_i \in \mathcal{R}) = \int_{\mathcal{R}} f_i(x;\mu) dx.$

Terceiro, presume-se que os dois sensores estejam operando com independência física , o que é considerado como implicando independência estatística .

Por definição, a probabilidade das duas observações é a densidade de probabilidade que elas teriam sob essa distribuição conjunta, dado que a verdadeira localização é . A suposição de independência implica que esse é o produto das densidades. Para esclarecer um ponto sutil, $x_1, x_2$ $\mu$

A função do produto que atribui a uma observação não é uma densidade de probabilidade para ; Contudo, $f_1(x;\mu)f_2(x;\mu)$ $x$ $x$
O produto é a densidade da junta do par ordenado . $f_1(x_1;\mu)f_2(x_2;\mu)$ $(x_1, x_2)$

Na figura postada, é o centro de um blob, é o centro de outro e os pontos em seu espaço representam valores possíveis de . Observe que nem nem têm a intenção de dizer algo sobre as probabilidades de ! é apenas um valor fixo desconhecido . Não é uma variável aleatória. $x_1$ $x_2$ $\mu$ $f_1$ $f_2$ $\mu$ $\mu$

Aqui está outra reviravolta sutil: a probabilidade é considerada uma função de . Nós temos os dados - nós estamos apenas tentando descobrir o que é provável que seja. Assim, o que precisamos traçar é a função de probabilidade $\mu$ $\mu$

Λ (μ) = f_{1} (x_{1}; μ) f_{2} (x_{2}; μ) .

$\Lambda(\mu) = f_1(x_1;\mu)f_2(x_2;\mu).$

É uma coincidência singular que isso também seja gaussiano! A demonstração é reveladora. Vamos fazer as contas em apenas uma dimensão (em vez de duas ou mais) para ver o padrão - tudo generaliza para mais dimensões. O logaritmo de um gaussiano tem a forma

\log f_{i} (x_{i}; μ) = A_{i} - B_{i} (x_{i} - μ)^{2}

$\log f_i(x_i;\mu) = A_i - B_i(x_i-\mu)^2$

para constantes e . Assim, a probabilidade do log é $A_i$ $B_i$

\begin{aligned} \log Λ (μ) & = A_{1} - B_{1} (x_{1} - μ)^{2} + A_{2} - B_{2} (x_{2} - μ)^{2} \\ = C - (B_{1} + B_{2}) {(μ - \frac{B_{1} x_{1} + B_{2} x_{2}}{B_{1} + B_{2}})}^{2} \end{aligned}

$\eqalign{ \log \Lambda(\mu) &= A_1 - B_1(x_1-\mu)^2 + A_2 - B_2(x_2-\mu)^2 \\ &= C - (B_1+B_2)\left(\mu - \frac{B_1x_1+B_2x_2}{B_1+B_2}\right)^2 }$

onde não depende de . Este é o log de um gaussiano em que o papel do foi substituído pela média ponderada mostrada na fração. $C$ $\mu$ $x_i$

Vamos voltar ao tópico principal. A estimativa de ML de é o valor que maximiza a probabilidade. Equivalentemente, maximiza esse gaussiano que acabamos de derivar do produto dos gaussianos. Por definição, o máximo é um modo . É coincidência - resultante da simetria pontual de cada gaussiano em torno de seu centro - que o modo coincide com a média. $\mu$

Essa análise revelou que várias coincidências na situação específica obscureceram os conceitos subjacentes:

uma distribuição multivariada (conjunta) era facilmente confundida com uma distribuição univariada (o que não é);
a probabilidade parecia uma distribuição de probabilidade (o que não é);
o produto dos gaussianos passa a ser gaussiano (uma regularidade que geralmente não é verdadeira quando os sensores variam de maneiras não gaussianas);
e o modo coincide com a média (que é garantida apenas para sensores com respostas simétricas em torno dos valores reais).

Somente focando nesses conceitos e eliminando os comportamentos coincidentes podemos ver o que realmente está acontecendo.

whuber
fonte

Muito obrigado por esta resposta maravilhosa. Parece que a pergunta não é tão simples quanto parece. Eu estava realmente me perguntando por que era tão difícil para mim entender o conceito de independência que eu achava que conhecia bem. Levarei tempo para garantir que todos os pontos estejam claros.

anderstood 19/08/19

Recompensa virtual +150. Quando você escreve "o produto de duas densidades nunca é uma densidade", e a densidade uniforme em , ou a densidade reunida em 0? Não seria (ainda) melhor dizer " genericamente não é uma densidade"?

[0, 1]

$[0,1]$

anderstood

Você está certo. Eu tinha em mente uma desigualdade que pode se tornar uma igualdade quando todos os valores da densidade são zero, um ou infinito. Todos os seus contra-exemplos são desse tipo.

whuber

Eu já vejo uma resposta excelente, mas estou postando a minha desde que comecei a escrevê-la.

O médico 1 tem este modelo de previsão: $d_1\sim N(\mu_1, \sigma_1)$

O médico 2 tem este modelo de previsão: $d_2\sim N(\mu_2, \sigma_2)$

Portanto, para avaliarmos a probabilidade conjunta , precisamos apenas perceber que isso é fatorado em desde devido à independência dos dois médicos. $P(d_1,d_2)=P(d_1|d_2)P(d_2)$ $P(d_1)P(d_2)$ $P(d_1|d_2)=P(d_1)$

Dr. Mike
fonte

+1 virtual para detalhes detalhados. É uma pena que o sistema não me permita dar o +1 real.

Sorte

Como você definiria como um evento? Por exemplo, "os dados dão um 3" é um evento, assim como "ganha mais de 100". Aqui não posso formulá-lo dessa maneira, porque não tem um pfd, é um pfd. Por exemplo, posso calcular a probabilidade de ter dias de vida, de acordo com o médico 1, mas qual é a probabilidade de ?

d_{1}

$d_1$

d_{1}

$d_1$

x

$x$

d_{1}

$d_1$

anderstood 19/08/19

Talvez eu esteja confuso porque entendo como um evento, enquanto é uma variável aleatória. Então, é a variável aleatória que descreve o número de dias restantes de acordo com o Médico 1. Mas qual é o significado da probabilidade conjunta de e é um número real em ? E se assume o valor "3 dias" e assume o valor "4 dias"? Espero que minhas perguntas o ajudem a entender o que estou perdendo.

d_{1}

$d_1$

d_{1}

$d_1$

P (d_{1}, d_{2})

$P(d_1,d_2)$

[0, 1]

$[0,1]$

d_{1}

$d_1$

d_{2}

$d_2$

anderstood 19/08/16

Como os gaussianos são densidades de probabilidade , não probabilidades, essa explicação é incompleta.

whuber