Derive P (C | A + B) das duas regras de Cox

9

Estou trabalhando (auto-estudo) no livro de ET Jaynes, Probability Theory - The Logic of Science

Problema original

O Exercício 2.1 diz: "É possível encontrar uma fórmula geral para análoga a [a fórmula ] das regras de produto e soma. Em caso afirmativo, deduza-o; caso contrário, explique por que isso não pode ser feito. " $p(C|A+B)$ $p(A+B|C)=p(A|C)+p(B|C)-p(AB|C)$

Givens

As regras com as quais tenho que trabalhar são:

$p(AB | C) = p(A|C)p(B|AC) = p(B|C)p(A|BC)$ e $p(A|B)+p(\bar{A}|B)=1$

Onde também podemos usar identidades lógicas para manipular proposições. Por exemplo: $A+B=\overline{\bar{A}\bar{B}}$

Suposição de solvabilidade

Acredito que deve ser possível porque ele não introduz outras regras mais tarde e ter uma simples combinação lógica de proposições que não fosse facilmente expressável derrotaria a tese central de Jaynes. No entanto, não consegui derivar a regra.

Minha tentativa

Para evitar confusões devido ao uso dos mesmos nomes de variáveis que os givens, estou resolvendo o problema como:

Derivar uma fórmula para $p(X|Y+Z)$

Introduzindo uma tautologia para condicionamento

Minha melhor tentativa de resolvê-lo até agora foi introduzir uma proposição que é sempre verdadeira. Assim, posso reescrever como (já que a verdade é a identidade multiplicativa). $W$ $Y+Z$ $(Y+Z)W$

Então, eu posso escrever:

$p(X|Y+Z)=p(X|(Y+Z)W)$

Então, reescrevendo um dos dados como regra de Bayes: , eu posso escrever: $p(A|BC)=\frac{p(B|AC)p(A|C)}{p(B|C)}$

$p(X|(Y+Z)W)=\frac{p(Y+Z|XW)p(X|W)}{p(Y+Z|W)}=\frac{p(Y+Z|X)p(X|W)}{p(Y+Z|W)}$

Por que isso não funciona

O termo é fácil de lidar. (Sua expansão é referida na definição do problema.) $p(Y+Z|X)$

No entanto, eu não sei o que fazer com e . Não há transformação lógica que eu possa aplicar para me livrar do , nem pensar em nenhuma maneira de aplicar as regras fornecidas para chegar lá. $p(X|W)$ $p(Y+Z|W)$ $W$

Outros lugares que eu olhei

Eu fiz uma pesquisa no Google, que apareceu nesta página do fórum . Mas o autor faz a mesma coisa que tentei sem ver a dificuldade que tenho com o condicionamento resultante na tautologia introduzida.

Eu também procurei em stats.stackexchange.com por "Jaynes" e também por "Exercise 2.1" sem encontrar resultados úteis.

probability bayesian self-study conditional-probability Epônimo
fonte

Não acho que isso seja digno de sua própria resposta, mas acho que o que você tem é correto e é o que Jaynes esperava que você apresentasse. Você pode assumir que seja verdadeiro sempre. E a próxima pergunta que ele faz é sobre o caso mais geral de , no qual ele pede que você prove a forma mais geral do teorema de Bayes. (Este é anos após esta questão foi colocada, mas eu estava presa na mesma parte Espero que este comentário ajuda outros.)

W

$W$

p (C | (A_{1} + A_{2} + . . . + A_{n}) W)

$p(C|(A_1 + A_2 + ... + A_n)W)$

William Oliver

3

Não sei ao certo o que Jaynes considera análogo a mas os alunos usam alegremente um ou mais dos seguintes trabalhos de casa e exames: Você acha que alguma delas está correta? $P(A\cup B \mid C) = P(A \mid C) + P(B \mid C) - P(AB \mid C)$

\begin{aligned} P (A ∣ B \cup C) & = P (A ∣ B) + P (C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (C) - P (A C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C), \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C) - P (A ∣ B C), \\ P (A ∣ B \cup C) & = P (A B ∣ B \cup C) + P (A C ∣ B \cup C) - P (A B C ∣ B \cup C) . \end{aligned}

$\begin{align*} P(A\mid B \cup C) &= P(A \mid B) + P(C)\\ P(A\mid B \cup C) &= P(A \mid B) + P(C) - P(AC)\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C),\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C) - P(A \mid BC),\\ P(A\mid B \cup C) &= P(AB \mid B\cup C) + P(AC \mid B \cup C) - P(ABC \mid B\cup C). \end{align*}$

Nota: Alterando meu comentário (agora excluído) em um adendo à minha resposta, as regras permitem as seguintes manipulações: O primeiro introduz condicionado em um subconjunto de mas não elimina condicionado em . A segunda também não elimina condicionado em . Portanto, qualquer manipulação de sempre incluirá termos da forma , e não poderá ser expressa em termos de , , , etc. sem incluir probabilidades condicionadas $P(AB \mid C) = P(A\mid C)P(B \mid AC); P(A \mid C) = 1 - P(A^c \mid C).$ $C$ $C$ $C$ $P(A\mid B \cup C)$ $P(X\mid B \cup C)$ $P(A\mid B \cup C)$ $P(A \mid B)$ $P(A \mid C)$ $P(A \mid BC)$ $B \cup C$ também.

Dilip Sarwate
fonte

Eu não gosto de nenhum deles. Acho que a última resposta é tecnicamente correto, mas não elimina o condicionamento Eu estou tentando remover porque todos os termos têm ainda uma função de dada .

A

$A$

B \cup C

$B \cup C$

Eponymous 10/10

@ Epônimo Mas observe que na expressão que Jaynes quer que você imite, viz. , o condicionamento permanece em toda parte. Portanto, a questão se resume ao que Jaynes considera análogo. Minha última "identidade" é uma afirmação verdadeira e tem condicionamento no mesmo evento de ambos os lados, assim como Jaynes faz

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$

C

$C$

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$

Dilip Sarwate

Na estrutura de Jaynes, você deve sempre condicionar algo. é indefinido para todos . Assim, o condicionamento em um único termo é inevitável. Meu entendimento do problema é que preciso, de alguma forma, dividir em coisas que possam ser mais naturais / fáceis de calcular, removendo idealmente o completo (embora possa ser irremovível). Não vejo sua última identidade fazendo isso.

P (X)

$P(X)$

X

$X$

P (A | B \cup C)

$P(A|B \cup C)$

\cup

$\cup$

Eponymous

@Dilip Eu não acho que haja algo errado com sua resposta, e acho que há muitas (especialmente a última parte) que estão certas (+1). Na ausência de um manual de soluções (que acho que nem existe), nunca podemos saber o que estava em mente de Jaynes. Mas eu acho que você está certo de que a resposta final deve ter condicionado durante todo o tempo, e o que parece ser o evento condicionado natural seria: .

A \cup B

$A \cup B$

2

Para problemas como esse, às vezes é útil pensar menos sobre as fórmulas e desenhar uma figura (nesse caso, um diagrama de Venn).

insira a descrição da imagem aqui

Agora olhe para a figura e tente visualizar o que representa. Se você conseguir tirá-lo da foto, verá que existem várias maneiras válidas de escrevê-lo (duas maneiras me lembram do bastão). Se você ainda estiver preso, tente voltar à prova usual da regra geral de adição geral para obter dicas. $P(C | A \cup B)$

Lembre-se: uma probabilidade condicional concentra toda a sua massa de probabilidade no evento de condicionamento (neste caso, ). A idéia é focar nos locais onde cruza esse evento. $A \cup B$ $C$

A propósito, o código R para a figura é

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

fonte

Como isso ajuda a escrever uma fórmula usando apenas as regras de Jaynes? Devemos usar apenas as duas regras declaradas pelo OP.

precisa

1

@Dilip Acho que a parte mais difícil desse problema de Jaynes é que ele não indicou explicitamente a fórmula para atirar. Mas o diagrama nos permite ver possíveis fórmulas que têm uma chance no Heck de serem válidas, e sim, a que estou pensando pode ser provada apenas com as regras de produto e soma (na verdade, Jaynes fez isso no parágrafo imediatamente prosseguindo o exercício original!).

@Jay O problema, como já salientado nos comentários sobre a minha própria resposta, é que tudo numa fórmula para precisa necessariamente de ser condicionado em . Por outro lado, como você diz, o texto de Jaynes prova a versão condicional do conhecido resultado: . É fácil separar o evento condicionado , não para o evento condicionado .

P (C ∣ A \cup B)

$P(C \mid A\cup B)$

A \cup B

$A\cup B$

P (A \cup B) = P (A) + P (B) - P (A B)

$P(A \cup B) = P(A) + P(B) - P(AB)$

usar o seguinte

@Dilip sim, não posso terminar o evento de condicionamento, estou com você.

1

O Teorema de Bayes fornece Agora, usando as regras de soma condicional e incondicional, temos Obviamente, a questão é se essa fórmula seria "suficientemente análoga" para Jaynes.

p (C ∣ A + B) = \frac{p (A + B ∣ C) p (C)}{p (A + B)} .

$p(C\mid A+B) = \frac{p(A+B\mid C)\;p(C)}{p(A+B)} \, .$

p (C ∣ A + B) = \frac{p (A ∣ C) + p (B ∣ C) - p (A B ∣ C)}{p (A) + p (B) - p (A B)} p (C) .

$p(C\mid A+B) = \frac{p(A\mid C)+p(B\mid C)-p(AB\mid C)}{p(A)+p(B)-p(AB)}\;p(C) \, .$

zen
fonte

Como o OP apontou em um comentário, "Na estrutura de Jaynes, você sempre deve condicionar algo. P (X) é indefinido para todo X. Portanto, o condicionamento a um único termo é inevitável". Então, você não tem permissão para escrever P (C), P (A), etc.

Dilip Sarwate

1

Você não pode se livrar da tautologia. Eu acho que você deve apenas adicionar a tautologia e aplicar a regra do produto e, em seguida, a regra da soma e você obtém:

p (C | (A + B) W) = \frac{p (C A | W) + p (C B | W) - p (A B | W)}{p (A | W) + p (B | W) - p (A B | W)}

$p(C|(A+B)W) = \frac{p(CA|W)+p(CB|W)-p(AB|W)}{p(A|W)+p(B|W)-p(AB|W)}$

onde todas as probabilidades são expressas como posteriores à tautologia. Eu acho que esse é o equivalente mais semelhante à regra da soma que você pode obter para esse problema, então essa seria a solução.

Observe que se você adicionar a condição (ou seja, e são mutuamente exclusivos), obtém a mesma expressão que precisa provar no problema 2.2, que indicaria que esta solução provavelmente está correta (por Indução bayesiana;). $p(AB|W)=0$ $A$ $B$

MastermindX
fonte

0

Seguindo apenas as regras de Cox, tomando como no livro de Jaynes, temos a solução do MastermindX: $W=X$

p (C | (A + B) X) = \frac{p (C (A + B) | X)}{p ((A + B) | X)} (product rule)

$p(C|(A+B)X) = \dfrac{p(C(A+B)|X)}{p((A+B)|X)} \qquad \text{(product rule)}$

= \frac{p ((C A + C B) | X)}{p ((A + B) | X)} (distributive property of the conjunction)

$= \dfrac{p((CA+CB)|X)}{p((A+B)|X)} \qquad \text{(distributive property of the conjunction)}$

= \frac{p (C A | X) + p (C B | X) - p (C A B | X)}{p ((A + B) | X)} (sum rule on numerator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p((A+B)|X)} \qquad \text{(sum rule on numerator)}$

= \frac{p (C A | X) + p (C B | X) - p (C A B | X)}{p (A | X) + p (B | X) - p (A B | X)} (sum rule on demoninator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(sum rule on demoninator)}$

= \frac{p (A | X) p (C | A X) + p (B | X) p (C | B X) - p (A B | X) p (C | A B X)}{p (A | X) + p (B | X) - p (A B | X)} (product rule on numerator)

$= \dfrac{p(A|X)p(C|AX)+p(B|X)p(C|BX)-p(AB|X)p(C|ABX)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(product rule on numerator)}$

A solução para Ex. 2.1 segue a intenção do Capítulo 2 na regra do produto, de que "primeiro buscamos uma regra consistente que relacione a plausibilidade do produto lógico à plausibilidade de e separadamente" (página 24). Além disso, para as proposições mutuamente exclusivas e , isso é igual à Eq. (2,67) no Ex. 2.2, se considerarmos , ; também indicado pelo MastermindX. Observe que o próprio Jaynes não se livra das informações adicionais na Eq. (2,67), então acredito que esta é a solução esperada para ambos os exercícios. $AB$ $A$ $B$ $A$ $B$ $\{A_{1} = A$ $A_{2} = B\}$ $X$

aatr
fonte