O teorema de Bayes é válido para expectativas?

18

É verdade que, para duas variáveis aleatórias e , $A$ $B$

E (A ∣ B) = E (B ∣ A) \frac{E (A)}{E (B)} ?

$E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?$

bayesian mathematical-statistics tomka
fonte

3

Hmm ... eu não acho que esses dois lados são equivalentes

Jon

6

Como apontado nas respostas, a pergunta é probabilisticamente sem sentido, devido à integração de variáveis aleatórias de um lado, que são as variáveis condicionantes do outro lado.

Xian

25

\begin{matrix} (1) & E [A ∣ B] \overset{?}{=} E [B ∣ A] \frac{E [A]}{E [B]} \end{matrix}

$E[A\mid B] \stackrel{?}= E[B\mid A]\frac{E[A]}{E[B]} \tag 1$ O resultado conjecturado é trivialmente verdadeiro para variáveis aleatórias independentes e com médias diferentes de zero.

(1)

$(1)$

A

$A$

B

$B$

Se $E[B]=0$ , o lado direito de $(1)$ envolve uma divisão por $0$ e, portanto, $(1)$ não faz sentido. Observe que se $A$ e $B$ são independentes não é relevante.

Em geral , não se aplica a variáveis aleatórias dependentes, mas exemplos específicos de e dependentes que satisfazem podem ser encontrados. Note que devemos continuar insistindo que , caso contrário, o lado direito de não tem sentido. Tenha em mente que é uma variável aleatória que é uma função da variável aleatória , digamos enquanto é uma variável aleatória que é uma função do variável aleatória , digamos $(1)$ $A$ $B$ $(1)$ $E[B]\neq 0$ $(1)$ $E[A\mid B]$ $B$ $g(B)$ $E[B\mid A]$ $A$ $h(A)$ . Então, é semelhante a perguntar se $(1)$

\begin{matrix} (2) & g (B) \overset{?}{=} h (A) \frac{E [A]}{E [B]} \end{matrix}

$g(B)\stackrel{?}= h(A)\frac{E[A]}{E[B]} \tag 2$ pode ser uma afirmação verdadeira, e obviamente a resposta é que não pode ser uma múltiplo de em geral.

g (B)

$g(B)$

h (A)

$h(A)$

Que eu saiba, existem apenas dois casos especiais em que pode ser mantido. $(1)$

Como notado acima, para independentes variáveis aleatórias e , e são degeneradas variáveis aleatórias (chamados constantes por pessoas estatisticamente-analfabetos) que igual e , respectivamente, e por isso, se , temos igualdade em . $A$ $B$ $g(B)$ $h(A)$ $E[A]$ $E[B]$ $E[B]\neq 0$ $(1)$
No outro extremo do espectro da independência, suponha que onde é uma função invertível e, portanto, e sejam totalmente variáveis aleatórias dependentes. Nesse caso, e então torna-se que vale exatamente quando onde pode ser qualquer número real diferente de zero. Assim, é válido sempre que é um múltiplo escalar de e, é claro, $A=g(B)$ $g(\cdot)$ $A=g(B)$ $B=g^{-1}(A)$
$E [A ∣ B] = g (B), E [B ∣ A] = g^{- 1} (A) = g^{- 1} (g (B)) = B$ $E[A\mid B] = g(B), \quad E[B\mid A] = g^{-1}(A) = g^{-1}(g(B)) = B$ $(1)$ $g (B) \overset{?}{=} B \frac{E [A]}{E [B]}$ $g(B)\stackrel{?}= B\frac{E[A]}{E[B]}$ $g(x) = \alpha x$ $\alpha$ $(1)$ $A$ $B$ $E[B]$ deve ser diferente de zero (cf. resposta de Michael Hardy ). O desenvolvimento acima mostra que deve ser uma função linear e que não pode conter funções afins com . No entanto, observe que Alecos Papadopolous em sua resposta e em seus comentários posteriores afirma que se é uma variável aleatória normal com média diferente de zero, então para valores específicos de e que ele fornece, e satisfazem $g(x)$ $(1)$ $g(x) = \alpha x + \beta$ $\beta \neq 0$ $B$ $\alpha$ $\beta\neq 0$ $A=\alpha B+\beta$ $B$ $(1)$ . Na minha opinião, o exemplo dele está incorreto.

Em um comentário sobre esta resposta, Huber sugeriu considerar a igualdade conjecturada simétrica quais dos naturalmente sempre é válido para as variáveis aleatórias independentes independentemente dos valores de e e para múltiplos escalares também. Naturalmente, mais trivialmente, vale para quaisquer variáveis aleatórias com média zero e (independente ou dependente, múltiplo escalar ou não; isso não importa!): é suficiente pela igualdade em . Assim, pode não ser tão interessante quanto

\begin{matrix} (3) & E [A ∣ B] E [B] \overset{?}{=} E [B ∣ A] E [A] \end{matrix}

$E[A\mid B]E[B] \stackrel{?}=E[B\mid A]E[A]\tag{3}$

E [A]

$E[A]$

E [B]

$E[B]$

A = α B

$A = \alpha B$

(3)

$(3)$

A

$A$

B

$B$

E [A] = E [B] = 0

$E[A]=E[B]=0$

(3)

$(3)$

(3)

$(3)$

(1)

$(1)$ como um tópico para discussão.

Dilip Sarwate
fonte

9

+1. Para ser generosa, a questão poderia ser interpretada como perguntando se , onde a questão da divisão por zero desaparece.

E (A | B) E (B) = E (B | A) E (A)

$E(A|B)E(B)=E(B|A)E(A)$

whuber

1

@whuber Obrigado. Minha edição aborda a questão mais geral sobre se é possível ter .

E [A ∣ B] E [B] = E [B ∣ A] E [A]

$E[A\mid B]E[B]=E[B\mid A]E[A]$

Dilip Sarwate

11

O resultado é falso em geral, vamos ver isso em um exemplo simples. Seja uma distribuição binomial com os parâmetros e com a distribuição beta com os parâmetros , ou seja, um modelo bayesiano com conjugado anterior. Agora apenas calcule os dois lados da sua fórmula, o lado esquerdo é , enquanto o lado direito é e esses certamente não são iguais. $X \mid P=p$ $n,p$ $P$ $(\alpha, \beta)$ $\DeclareMathOperator{\E}{\mathbb{E}} \E X \mid P = nP$

E (P ∣ X) \frac{E X}{E P} = \frac{α + X}{n + α + β} \frac{α / (α + β)}{n α / (α + β)}

$\E( P\mid X) \frac{\E X}{\E P} = \frac{\alpha+X}{n+\alpha+\beta} \frac{\alpha/(\alpha+\beta)}{n\alpha/(\alpha+\beta)}$

kjetil b halvorsen
fonte

2

O valor condicional esperado de uma variável aleatória dado o evento que é um número que depende de qual número é. Então, chame-o de Em seguida, o valor esperado condicional é uma variável aleatória cujo valor é completamente determinada pelo valor da variável aleatória . Assim, é uma função de e $A$ $B=b$ $b$ $h(b).$ $\operatorname{E}(A\mid B)$ $h(B),$ $B$ $\operatorname{E}(A\mid B)$ $B$ é uma função da . $\operatorname{E}(B\mid A)$ $A$

O quociente é apenas um número. $\operatorname{E}(A)/\operatorname{E}(B)$

Portanto, um lado da igualdade proposta é determinado por e o outro por , portanto, geralmente não podem ser iguais. $A$ $B$

(Talvez eu deva acrescentar que eles podem ser iguais no caso trivial quando os valores de e determinam, como quando, por exemplo, e , quando $A$ $B$ $A = \alpha B, \alpha \neq 0$ $E[B]\neq 0$ Mas funções iguais entre si apenas em alguns pontosnãosãoiguais.)

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

Michael Hardy
fonte

Você quer dizer que eles não são necessariamente iguais? Quero dizer que eles podem ser iguais?

BCLC

1

@BCLC: Eles são iguais apenas em casos triviais. E duas funções iguais entre si em alguns pontos e não em outros não são iguais.

Michael Hardy

2

"Mas somente nesse caso trivial eles podem ser iguais" (grifo nosso) não está correto. Considere independentes

e

com

. Então,

, enquanto

e por isso

A

$A$

B

$B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = E [A]

$E[A\mid B] = E[A]$

E [B ∣ A] = E [B]

$E[B\mid A] = E[B]$

E [B ∣ A] \frac{E [A]}{E [B]} = E [B] \frac{E [A]}{E [B]} = E [A] = E [A ∣ B] .

$E[B\mid A] \frac{E[A]}{E[B]} = E[B]\frac{E[A]}{E[B]} = E[A] = E[A\mid B].$

Dilip Sarwate

@DilipSarwate Eu estava prestes a dizer isso haha!

BCLC 10/02

Editei sua resposta para adicionar alguns detalhes ao caso que você apontou. Reverta se não gosta das alterações.

precisa

-1

A expressão certamente não se aplica em geral. Por diversão, mostro abaixo que, se e seguem conjuntamente uma distribuição normal bivariada e têm médias diferentes de zero, o resultado será mantido se as duas variáveis forem funções lineares uma da outra e tiverem o mesmo coeficiente de variação ( a razão do desvio padrão sobre a média) em termos absolutos. $A$ $B$

Para normais comuns, temos

E (A ∣ B) = μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B})

$\operatorname{E}(A \mid B) = \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B)$

e queremos impor

μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = [μ_{B} + ρ \frac{σ_{B}}{σ_{A}} (A - μ_{A})] \frac{μ_{A}}{μ_{B}}

$\mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \left[\mu_B + \rho \frac{\sigma_B}{\sigma_A}(A - \mu_A)\right]\frac{\mu_A}{\mu_B}$

⟹ μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = μ_{A} + ρ \frac{σ_{B}}{σ_{A}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$\implies \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \mu_A + \rho \frac{\sigma_B}{\sigma_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Simplifique e depois e reorganize para obter $\mu_A$ $\rho$

B = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$B = \mu_B +\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Portanto, esta é a relação linear que deve ser mantida entre as duas variáveis (para que elas sejam certamente dependentes, com coeficiente de correlação igual à unidade em termos absolutos) para obter a igualdade desejada. O que isso implica?

Primeiro, também deve estar satisfeito que

E (B) \equiv μ_{B} = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (E (A) - μ_{A}) ⟹ μ_{B} = μ_{B}

$E(B) \equiv \mu_B = \mu_B+\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(E(A) - \mu_A) \implies \mu_B = \mu_B$

portanto, nenhuma outra restrição é imposta à média de (ou de ), exceto por serem diferentes de zero. Também uma relação para a variação deve ser satisfeita, $B$ $A$

Var (B) \equiv σ_{B}^{2} = {(\frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}})}^{2} Var (A)

$\operatorname{Var}(B) \equiv \sigma^2_B = \left(\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}\right)^2\operatorname{Var}(A)$

⟹ {(σ_{A}^{2})}^{2} σ_{B}^{2} = {(σ_{B}^{2})}^{2} σ_{A}^{2} {(\frac{μ_{A}}{μ_{B}})}^{2}

$\implies \left(\sigma^2_A\right)^2\sigma^2_B = \left(\sigma^2_B\right)^2\sigma^2_A\left(\frac{\mu_A}{\mu_B}\right)^2$

⟹ {(\frac{σ_{A}}{μ_{A}})}^{2} = {(\frac{σ_{B}}{μ_{B}})}^{2} ⟹ ({cv}_{A})^{2} = ({cv}_{B})^{2}

$\implies \left(\frac{\sigma_A}{\mu_A}\right)^2 = \left(\frac{\sigma_B}{\mu_B}\right)^2 \implies (\text{cv}_A)^2 = (\text{cv}_B)^2$

⟹ | {cv}_{A} | = | {cv}_{B} |

$\implies |\text{cv}_A| = |\text{cv}_B|$

which was to be shown.

Note that equality of the coefficient of variation in absolute terms, allows the variables to have different variances, and also, one to have positive mean and the other negative.

Alecos Papadopoulos
fonte

1

Isn't this a convoluted way to

A = α B

$A = \alpha B$ where

α

$\alpha$ is some scalar?

Matthew Gunn

1

@MatthewGunn Your comment is right on target. Normality has nothing to do with the matter. For random variables

A

$A$ and

B

$B$ such that

A = α B

$A = \alpha B$ ,

E [A ∣ B] = α B = A

$E[A\mid B] = \alpha B = A$ and similarly,

E [B ∣ A] = B

$E[B\mid A] = B$ . Consequently, assuming that

E [B] \neq 0

$E[B]\neq 0$ ,

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$ No normality, no

| c v_{A} | = | c v_{B} |

$|cv_A|=|cv_B|$ etc, and actually just a rehash of a comment in Michael Hardy's answer.

Dilip Sarwate

If you write \text{Var} instaed of \operatorname{Var} then you'll see

a Var X

$a\text{Var}X$ and

a Var (X)

$a\text{Var}(X)$ instead of

a Var X

$a\operatorname{Var}X$ and

a Var (X) .

$a\operatorname{Var}(X).$ That's why the latter is standard usage.

Michael Hardy

@MatthewGun It seems to me that providing answers that contain specific examples is considered valuable content in this site. So yes, when a random variable is an affine function of another, and they are jointly normal with non-zero means, then one needs to have equal coefficients of variation, while, also there are no restrictions on the means of these rv's. On the other hand, when a random variable is just a linear function of another, the relation holds always. So no my answer is not a convoluted way to say

A = a B

$A=aB$ . (cc:@DilipSarwate)

Alecos Papadopoulos

2

If

B

$B$ is a non-normal random variable with

E [B] = μ_{B} \neq 0

$E[B]=\mu_B\neq 0$ and

A = c B + d

$A=c B+d$ (and so

B = \frac{A - d}{c}

$B=\frac{A-d}{c}$ ), then

E [A ∣ B] = c B + d = A, E [B ∣ A] = \frac{A - d}{c} = B .

$E[A\mid B]=cB+d=A, E[B\mid A]=\frac{A-d}{c}=B.$ Now, if we want to have

E [A ∣ B] = c B + d

$E[A\mid B]=cB+d$ to equal

E [B ∣ A] \cdot \frac{μ_{A}}{μ_{B}} = B \cdot \frac{μ_{A}}{μ_{B}}

$E[B\mid A]\cdot\frac{\mu_A}{\mu_B} =B\cdot\frac{\mu_A}{\mu_B}$ , it must be that

c B + d = B \cdot \frac{μ_{A}}{μ_{B}} ⟹ d = 0, c = \frac{μ_{A}}{μ_{B}}

$cB+d=B\cdot\frac{\mu_A}{\mu_B}\implies d=0,c=\frac{\mu_A}{\mu_B}$ and so

A = c B = \frac{μ_{A}}{μ_{B}} B

$A=cB=\frac{\mu_A}{\mu_B}B$ . So, for nonnormal

B

$B$ , the OP's conjectured result holds if

A = c B

$A=cB$ but not if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .Of course, as you have proved, the result holds for normal random variables if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .

Dilip Sarwate

O teorema de Bayes é válido para expectativas?

Respostas: