Consistência assintótica com variação assintótica diferente de zero - o que representa?

A questão já foi apresentada antes, mas quero fazer uma pergunta específica que tentará obter uma resposta que a esclareça (e classifique):

Em "Assintóticos do pobre homem", mantém-se uma clara distinção entre

(a) uma sequência de variáveis aleatórias que converge em probabilidade para uma constante

em contraste com

(b) uma sequência de variáveis aleatórias que converge em probabilidade para uma variável aleatória (e, portanto, em distribuição para ela).

Mas em "Assintoticos do Sábio", também podemos ter o caso de

(c) uma sequência de variáveis aleatórias que converge em probabilidade para uma constante, mantendo uma variação diferente de zero no limite.

Minha pergunta é (roubando minha própria resposta exploratória abaixo):

Como podemos entender um estimador que é assintoticamente consistente, mas que também tem uma variação finita diferente de zero? O que essa variação reflete? Como seu comportamento difere de um estimador consistente "usual"?

Tópicos relacionados ao fenômeno descrito em (c) (veja também nos comentários):

mathematical-statistics variance convergence asymptotics consistency Alecos Papadopoulos
fonte

O modo como você capitaliza "Assintóticos do pobre homem" me faz pensar que devo estar perdendo o conhecimento de uma referência (ou possivelmente a vi, mas a esqueci, o que equivale à mesma coisa); um livro ou papel real, ou possivelmente apenas uma referência cultural. Conheço o "Aumento de dados do pobre homem" (Tanner e Wei), mas não acho que isso esteja relacionado ao que você está conseguindo. o que estou perdendo?

Glen_b -Reinstate Monica

@Glen_B Você não perde nada - acabei de compor o termo para contrastar o nível de conhecimento da (= acesso intelectual à) Teoria Assintótica de que pessoas como eu têm, contra, digamos, as de pessoas como o cardeal. A capitalização era apenas uma tática de marketing.

Alecos Papadopoulos

Respostas:

27-10-2014: Infelizmente (para mim), ninguém ainda contribuiu com resposta aqui - talvez porque pareça uma questão teórica "patológica" estranha e nada mais?

É bom citar um comentário para o usuário Cardinal (que explorarei posteriormente)

"Aqui está um exemplo reconhecidamente absurdo, mas simples. A idéia é ilustrar exatamente o que pode dar errado e por quê. Ele tem aplicações práticas (minha ênfase). Exemplo: Considere o modelo de identificação típico com um segundo momento finito. Vamos onde é independente de e com probabilidade e é zero caso contrário, com arbitrário. Então é imparcial, com variação limitada abaixo por , e quase certamente (é fortemente consistente). Deixo como exercício o caso em relação ao viés ". $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

A variável aleatória independente aqui é , então vamos ver o que podemos dizer sobre isso. A variável possui suporte com probabilidades correspondentes . É simétrico em torno de zero, então temos $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Esses momentos não dependem de então acho que podemos escrever trivialmente $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

Em Assintóticos do pobre homem, conhecemos uma condição para que os limites dos momentos sejam iguais aos momentos da distribuição limitadora. Se o ésimo momento da distribuição de casos finitos convergir para uma constante (como é o nosso caso), então, além disso, $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

o limite do ésimo momento será o ésimo momento da distribuição limitante. No nosso caso $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Para isso diverge para qualquer ; portanto, essa condição suficiente não se aplica à variação (se aplica à média). Por outro lado: qual é a distribuição assintótica de ? O CDF de converge para um CDF não degenerado no limite? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Não parece: o suporte limitador será (se tivermos permissão para escrever isso) e as probabilidades correspondentes . Parece uma constante para mim. Mas se não temos uma distribuição limitadora, como podemos falar sobre seus momentos? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Então, voltando ao estimador , já que também converge para uma constante, parece que $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ não possui uma distribuição limitadora (não trivial), mas possui uma variação no limite. Ou, talvez essa variação seja infinita? Mas uma variação infinita com uma distribuição constante?

Como podemos entender isso? O que isso nos diz sobre o estimador? Qual é a diferença essencial, no limite, entre e ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

Alecos Papadopoulos
fonte

Pedido de referência estúpido: você tem uma fonte (boa) para: "se o r-ésimo momento converge para uma constante, todos os momentos com índice menor que r convergem para os momentos da distribuição limitadora?". Eu sei que é verdade, mas eu nunca encontrei uma boa fonte

Guillaume Dehaene

Em segundo lugar, o teorema que você tenta usar não pode ser aplicado neste caso: para r = 2 (que é o caso que você deseja usar: você deseja provar que a variância converge), a para qualquer estritamente positivo , o divergem!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

Guillaume Dehaene

Talvez seja bom, de alguma forma, fazer ping no @ cardinal (no chat?) Para que ele se junte a essa discussão.

Ameba diz Reinstate Monica

@amoeba Cardinal é um estimador que converge para a verdadeira resposta aqui, mas lembro de tentar envolvê-lo no passado sem sucesso.

Alecos Papadopoulos

@GuillaumeDehaene Uma referência é AW Van der Vaart (1998) "Asymptotic Statistics", cap. 2.5 "Convergência de momentos". É dado como um exemplo 2.21 do Teorema 2.20. E você está certo: fiquei com a impressão de que bastava ter limites para finito - mas é o limsup que deve ser finito. Estou corrigindo minha postagem.

n

$n$

Alecos Papadopoulos

Não darei uma resposta muito satisfatória à sua pergunta, porque me parece um pouco aberta demais, mas deixe-me tentar esclarecer por que essa pergunta é difícil.

Eu acho que você está lutando com o fato de que as topologias convencionais que usamos em distribuições de probabilidade e variáveis aleatórias são ruins. Eu escrevi um artigo maior sobre isso no meu blog, mas deixe-me tentar resumir: você pode convergir no sentido fraco (e na variação total) enquanto viola suposições de senso comum sobre o que significa convergência.

Por exemplo, você pode convergir em topologia fraca para uma constante enquanto possui variação = 1 (que é exatamente o que sua sequência está fazendo). Existe então uma distribuição limite (na topologia fraca) que é essa variável aleatória monstruosa que na maioria das vezes é igual a 0, mas infinitesimalmente raramente é igual ao infinito. $Z_n$

Pessoalmente, entendo que isso significa que a topologia fraca (e a topologia de variação total também) é uma noção pobre de convergência que deve ser descartada. A maioria das convergências que realmente usamos são mais fortes do que isso. No entanto, eu realmente não sei o que devemos usar em vez da topologia fraca sooo ...

Se você realmente deseja encontrar uma diferença essencial entre e , eis a minha opinião: ambos os estimadores são equivalentes à perda de [0,1] (quando o tamanho do seu erro não importa). No entanto, é muito melhor se o tamanho dos seus erros for importante, porque às vezes falha catastroficamente. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

Guillaume Dehaene
fonte

Um estimador é consistente em probabilidade, mas não em MSE se houver uma probabilidade arbitrariamente pequena do estimador "explodir". Embora seja uma curiosidade matemática interessante, para qualquer finalidade prática, isso não deve incomodá-lo. Para qualquer finalidade prática, os estimadores têm suportes finitos e, portanto, não podem explodir (o mundo real não é infinitesimalmente pequeno nem grande).

Se você ainda deseja recorrer a uma aproximação contínua do "mundo real", e sua aproximação é tal que converge em probabilidade e não em MSE, faça-a da seguinte maneira: seu estimador pode estar certo com uma probabilidade arbitrariamente grande, mas sempre haverá uma chance arbitrariamente pequena de explodir. Felizmente, quando isso acontecer, você notará que, caso contrário, poderá confiar nela. :-)

JohnRos
fonte

A minha impressão é que faz convergir quadrado médio, uma vez que

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

Alecos Papadopoulos

A questão lida especificamente com a interpretação de um estimador que converge em probabilidade e não em MSE (devido a uma variância que não desaparece).

21915 JohnRos

Você está certo, eu apenas confundi um sinal de mais com um sinal de menos.

Alecos Papadopoulos