Simulando Convergência em Probabilidade para uma constante

9

Os resultados assintóticos não podem ser comprovados por simulação em computador, porque são afirmações que envolvem o conceito de infinito. Mas devemos ter a sensação de que as coisas realmente marcham da maneira que a teoria nos diz.

Considere o resultado teórico

limnP(|Xn|>ϵ)=0,ϵ>0

onde Xn é uma função de n variáveis ​​aleatórias, digamos, de forma idêntica e distribuída. Isso indica que X_nXn converge em probabilidade para zero. O exemplo arquetípico aqui, eu acho, é o caso em que Xn é a média da amostra menos o valor esperado comum dos iidrv's da amostra,

Xn=1ni=1nYiE[Y1]

PERGUNTA: Como poderíamos mostrar convincentemente a alguém que a relação acima "se materializa no mundo real", usando resultados de simulação em computador de amostras necessariamente finitas?

Por favor, note que eu escolhi especificamente a convergência para uma constante .

Apresento abaixo minha abordagem como resposta, e espero por melhores.

ATUALIZAÇÃO: Algo na parte de trás da minha cabeça me incomodou - e eu descobri o que. Desenterrei uma pergunta antiga, onde uma discussão mais interessante ocorreu nos comentários de uma das respostas . Lá, o @Cardinal forneceu um exemplo de estimador de que ele é consistente, mas sua variação permanece diferente de zero e finita assintoticamente. Assim, uma variante mais difícil da minha pergunta se torna: como mostramos, por simulação, que uma estatística converge em probabilidade em uma constante, quando essa estatística mantém uma variação diferente de zero e finita assintoticamente?

Alecos Papadopoulos
fonte
@Glen_b Vindo de você, isso equivale a um crachá. Obrigado.
Alecos Papadopoulos
Estive pensando sobre isso de vez em quando e tudo o que descobri é esse argumento de 'concentração em torno da média'; Espero que algumas das pessoas inteligentes aqui tenham tempo para escrever algo interessante! (+1 é claro!)
Ekvall

Respostas:

2

Penso em como uma função de distribuição (complementar no caso específico). Como quero usar a simulação por computador para mostrar que as coisas tendem da maneira que o resultado teórico nos diz, preciso construir a função de distribuição empírica de, ou a distribuição empírica da frequência relativa e, de alguma forma, mostra que, à medida que aumenta, os valores de concentre "mais e mais" a zero. | X n | n | X n |P()|Xn|n|Xn|

Para obter uma função de frequência relativa empírica, preciso (muito) de mais de uma amostra aumentando de tamanho, pois à medida que o tamanho da amostra aumenta, a distribuição demudanças para cada diferente . n|Xn|n

Então, eu preciso gerar a partir da distribuição das de , "em paralelo", digamos variando em milhares, cada um com algum tamanho inicial , digamos variando em dezenas de milhares. Preciso calcular o valor dede cada amostra (e para o mesmo ), ou seja, obtenha o conjunto de valores . m m n n | X n | n { | x 1 n | , | x 2 n | , . . . , | x m n | }Yimmnn|Xn|n{|x1n|,|x2n|,...,|xmn|}

Esses valores podem ser usados ​​para construir uma distribuição de frequência relativa empírica. Tendo fé no resultado teórico, espero que "muitos" dos valores deserá "muito próximo" de zero - mas é claro, não todos. |Xn|

Portanto, para mostrar que os valores dede fato marchar para zero em números cada vez maiores, eu teria que repetir o processo, aumentando o tamanho da amostra para dizer , e mostrar que agora a concentração em zero "aumentou". Obviamente, para mostrar que aumentou, deve-se especificar um valor empírico para .2 n ϵ|Xn|2nϵ

Isso seria suficiente? De alguma forma, podemos formalizar esse "aumento da concentração"? Esse procedimento, se realizado em mais etapas de "aumento do tamanho da amostra", e um mais próximo do outro, pode nos fornecer algumas estimativas sobre a taxa real de convergência , ou seja, algo como "massa empírica de probabilidade que se move abaixo do limiar por cada passo "de, digamos, mil? n

Ou, examine o valor do limite para o qual, digamos, % da probabilidade está abaixo, e veja como esse valor de é reduzido em magnitude?ϵ90ϵ

UM EXEMPLO

Considere os como e, portanto, U ( 0 , 1 )YiU(0,1)

|Xn|=|1ni=1nYi12|

Primeiro, geramos amostras de tamanho cada. A distribuição de frequência relativa empírica deparece n = 10 , 000 | X 10 , 000 |m=1,000n=10,000|X10,000|insira a descrição da imagem aqui

e notamos que % dos valores desão menores que . | X 10 , 000 | 0,004615590.10|X10,000|0.0046155

Em seguida, aumento o tamanho da amostra para . Agora, a distribuição empírica da frequência relativa deparece e notamos que % dos valores deestão abaixo de . Como alternativa, agora % dos valores caem abaixo de .| X 20 , 000 | 91,80 | X 20 , 000 | 0,0037101 98,00 0,0045217n=20,000|X20,000|insira a descrição da imagem aqui91.80|X20,000|0.003710198.000,0045217

Você seria persuadido por essa demonstração?

Alecos Papadopoulos
fonte
3
Não, eu não seria convencido por nenhuma demonstração, se isso fosse tudo o que é oferecido. Não é possível distinguir entre o resultado reivindicado e um resultado em que há uma quantidade muito pequena de contaminação de uma distribuição diferente de zero. Qualquer simulação em computador, para ser verdadeiramente persuasiva, deve ser acompanhada de um raciocínio que exclua esses fenômenos. (Recentemente, realizei uma série de simulações que atingiram um tamanho de amostra de - isso não é um erro de digitação - mas ainda não foram persuadidas pelos resultados, embora fossem muito sugestivos!)101000
whuber
11
@ whuber O que você escreve parece muito interessante. Essas simulações mencionadas foram baseadas em alguns dados reais iniciais, de quais distribuições foram estimadas e depois dados artificiais adicionais foram gerados? Ou foi artificial desde o início? Se a confidencialidade não é um problema, e o tempo permitir, eu pessoalmente gostaria muito de ver uma resposta sua, fornecendo algumas visões sobre como essas simulações evoluíram e por que a dúvida permaneceu.
Alecos Papadopoulos
11
Foram dados artificiais. Eu realizei essas simulações para apoiar um comentário em stats.stackexchange.com/questions/104875/… . Você verá imediatamente como uma simulação tão grande pode ser executada: para gerar uma amostra de partir de uma distribuição de Bernoulli basta desenhar um único valor a partir de uma distribuição Binomial . Quando é suficientemente grande, você também pode desenhar um valor de uma distribuição Normal . O principal truque é fazer isso com precisão de dígitos :-). ( 1 / 2 ) ( N , 1 / 2 ) N ( N / 2 , N(1 1/2)(N,1 1/2)N1000(N/2,N/2)1000
whuber
@Whuber Obrigado, vou trabalhar nisso. A propósito, a pergunta que você mencionou, a resposta e seus comentários me propuseram a investigar mais profundamente a distribuição assintótica da variação da amostra de amostras não normais, bem como a aplicabilidade do teorema de Slutsky da maneira que é usado na resposta. Espero ter alguns resultados para compartilhar.
Alecos Papadopoulos