Por que o Rao-Blackwell Teorema requerem

O Teorema de Rao-Blackwell declara

Seja um estimador de com para todos . Suponha que seja suficiente para e deixe Então, para todos , A desigualdade é estrita, a menos que seja uma função de $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

Se eu entendi esse teorema corretamente, isso indica que, se eu tenho uma estatística suficiente para , o valor esperado condicional de dado é a solução para $T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

My Quesitons

Estou correto que $\theta^*$ minimiza $\Bbb E$ $(\hat{\theta}-\theta)^2$ ?
Por que o Teorema Rao-Blackwell requer $\Bbb E(\hat{\theta}^2) < \infty$ ?
Por que a desigualdade é estrita, a menos que $\hat{\theta}$ seja uma função de $T$ ?

rao-blackwell Stan Shunpike
fonte

Possível duplicata da justificativa intuitiva e fórmula para o teorema de Rao-Blackwell

Xian

O que é necessário para encontrar ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

Stan Shunpike 28/02

Respostas:

Não, é um estimador melhor que mas não necessariamente o melhor (o que isso significa!) $\theta^*$ $\hat\theta$
Se o estimador não tem variação, então seu risco é infinito e não há garantia de que tenha um risco finito (mesmo que isso possa acontecer como apontado por Horst Grünbusch em seus comentários). $\theta^*$
Sob variação finita para , a desigualdade é estrita devido à decomposição da variação como a soma da variação condicional esperada mais a variação da expectativa condicional A menos que a variação condicional esperada seja zero, o que equivale a uma função de apenas. $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

Xi'an
fonte

ad 2: Por que é impossível que ? Considere como estimador para , em que e um rv distribuído por Cauchy não relacionado.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

Horst Grünbusch

@ HorstGrünbusch Por que a peça Cauchy desapareceu quando você condiciona em ? Também não é um estimador imparcial.

T

$T$

\hat{θ}

$\hat{\theta}$

dsaxton

@ HorstGrünbusch Parece-me que o seu nem sequer tem uma expectativa condicional (já que não tem uma expectativa), portanto seria indefinido.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

Juho Kokkala

Tudo bem, tudo que eu queria era sem variação, não sem expectativa. ;) Agora tomar , ou seja, de Student-t-distribuídos com 2 graus de liberdade e e independente de . Estatística suficiente é claramente . Então , mas

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

Horst Grünbusch

Então, acho errado que um estimador Rao-Blackwell tenha necessariamente variação infinita se o estimador original tiver variação infinita. (No entanto, mesmo se ambos os desvios seria necessariamente infinita que ainda se mantêm.)

\infty \leq \infty

$\infty \leq \infty$

Horst Grünbusch

Observe que ser uma estatística suficiente não é exclusivo. De maneira trivial, todos os dados são suficientes, mas condicionar um estimador a eles não muda nada. Portanto, uma estatística suficiente por si só não é suficiente (trocadilho!) Por ter um erro quadrático médio mínimo. Veja o teorema de Lehmann-Scheffé, que usa o teorema de Rao-Blackwell na prova, para uma suficiência suficiente (de fato, sendo suficiente e completa).
Se ambos são infinitos, a fraca desigualdade é sempre verdadeira. Mas então, como um contra-exemplo, você pode construir uma estatística suficiente que não é uma função de mas que ainda possui uma variação infinita (de modo que apenas é válido). $T$ $\leq$

Tomemos, por exemplo, , uma variável aleatória distribuída com deslocada com e e como outra variável aleatória independente . O parâmetro a ser estimado é . O estimador original é . Uma estatística suficiente é obviamente . Tanto o estimador Rao-Blackwell e têm variação infinita. Portanto, a desigualdade se manteria fraca. Por outro lado, não é uma mera função de $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Envolve a outra variável aleatória, o que seria uma contradição com a última frase sobre a qual você fez sua terceira pergunta. De fato, alguns livros admitem variação infinita para o estimador original, mas, por sua vez, não podem declarar quando é válido. $<$

Se é uma função de , você pode provar pelo teorema da fatoração que já é suficiente para . Então, novamente, acabamos melhorando nada. Além deste caso, a desigualdade é estrita, e essa é a afirmação não trivial do teorema. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

Horst Grünbusch
fonte