Intuição por trás do porquê do paradoxo de Stein se aplicar apenas em dimensões

O exemplo de Stein mostra que a estimativa de máxima verossimilhança de $n$ variáveis ​​normalmente distribuídas com médias $\mu_1,\ldots,\mu_n$ e variâncias $1$ é inadmissível (sob uma função de perda quadrada) se $n\ge 3$ . Para uma prova clara, consulte o primeiro capítulo de Inferência em larga escala: Métodos empíricos de Bayes para estimativa, teste e previsão por Bradley Effron.

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Minha pergunta é: que propriedade do espaço $n$ dimensional (para $n\ge 3$ ) falta $\mathbb{R}^2$ que facilita o exemplo de Stein? As respostas possíveis podem ser sobre a curvatura da esfera $n$ , ou algo completamente diferente.

Em outras palavras, por que o MLE é admissível em $\mathbb{R}^2$ ?

Editar 1: em resposta à @mpiktas, preocupe-se com o 1,31, a partir do 1,30:

Edit 2 : Neste artigo , Stein prova que o MLE é admissível para $N=2$ .

A dicotomia entre os casos e para a admissibilidade do MLE da média de uma variável aleatória normal multivariada dimensional é certamente chocante.$d < 3$$d \geq 3$$d$

Há outro exemplo muito famoso em probabilidade e estatística em que há uma dicotomia entre os casos e . Esta é a recorrência de uma caminhada aleatória simples na rede . Ou seja, a caminhada aleatória simples dimensional é recorrente em 1 ou 2 dimensões, mas é transitória em dimensões. O analógico de tempo contínuo (na forma de movimento browniano) também é válido.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Acontece que os dois estão intimamente relacionados.

Larry Brown provou que as duas perguntas são essencialmente equivalentes. Ou seja, o melhor estimador invariante de um vetor médio normal multivariado dimensional é admissível se e somente se o movimento browniano dimensional for recorrente.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

De fato, seus resultados vão muito além. Para qualquer estimador sensato (isto é, Bayes generalizado) com risco limitado (generalizado) , existe uma difusão dimensional explícita (!) Correspondente, de modo que o estimador é admissível se e somente se a difusão correspondente for recorrente.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

A média local desta difusão é essencialmente a discrepância entre os dois estimadores, ou seja, e a covariância da difusão é . A partir disso, é fácil ver que, para o caso do MLE , recuperamos o movimento browniano (redimensionado).$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Assim, em certo sentido, podemos ver a questão da admissibilidade através das lentes dos processos estocásticos e usar propriedades bem estudadas das difusões para chegar às conclusões desejadas.

Referências

1. L. Brown (1971). Estimadores admissíveis, difusões recorrentes e problemas insolúveis em valores de fronteira . Ann. Matemática. Estado. vol. 42, n. 3, pp. 855-903.
2. RN Bhattacharya (1978). Critérios para recorrência e existência de medidas invariantes para difusões multidimensionais . Ann. Prob. vol. 6, n. 4, 541-553.

@cardinal deu uma ótima resposta (+1), mas a questão toda permanece misteriosa, a menos que alguém esteja familiarizado com as provas (e eu não estou). Portanto, acho que permanece a pergunta sobre qual é uma razão intuitiva para o paradoxo de Stein não aparecer em e .$\mathbb R$$\mathbb R^2$

Acho muito útil uma perspectiva de regressão oferecida em Stephen Stigler, 1990, Uma perspectiva galtoniana sobre estimadores de encolhimento . Considere medições independentes , cada uma medindo alguns subjacentes (não observados) e amostrados em . Se de alguma forma soubéssemos , poderíamos fazer um gráfico de dispersão de :$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

A linha diagonal corresponde ao ruído zero e estimativa perfeita; na realidade, o ruído é diferente de zero e, portanto, os pontos são deslocados da linha diagonal na direção horizontal . Correspondentemente, pode ser visto como uma linha de regressão de em . No entanto, conhecemos e queremos estimar , portanto, devemos considerar uma linha de regressão de em - que terá uma inclinação diferente, inclinada horizontalmente , conforme mostrado na figura (linha tracejada).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Citando o artigo de Stigler:

Essa perspectiva galtoniana sobre o paradoxo de Stein a torna quase transparente. Os estimadores "comuns" são derivados da linha de regressão teórica de em . Essa linha seria útil se nosso objetivo fosse prever de , mas nosso problema é o inverso, ou seja, prever de usando a soma dos erros quadráticos como um critério. Para esse critério, os estimadores lineares ótimos são dados pela linha de regressão de mínimos quadrados de em$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$, e os estimadores de James-Stein e Efron-Morris são eles próprios estimadores desse estimador linear ótimo. Os estimadores "comuns" são derivados da linha de regressão incorreta, os estimadores de James-Stein e Efron-Morris são derivados de aproximações à linha de regressão correta.

E agora vem a parte crucial (ênfase adicionada):

Podemos até ver por que é necessário: se ou , a linha dos mínimos quadrados de em deve passar pelos pontos e, portanto, para ou , o duas linhas de regressão (de em e de em ) devem concordar em cada .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Eu acho que isso deixa muito claro o que há de especial em e .$k=1$$k=2$