Explicação intuitiva da convergência na distribuição e convergência na probabilidade

Qual é a diferença intuitiva entre uma variável aleatória convergindo em probabilidade versus uma variável aleatória convergindo em distribuição?

Eu li várias definições e equações matemáticas, mas isso realmente não ajuda. (Lembre-se de que sou estudante de graduação em economia).

Como uma variável aleatória pode convergir para um único número, mas também para uma distribuição?

Como um número aleatório pode convergir para uma constante?

Digamos que você tenha bolas na caixa. Você pode escolhê-los um por um. Depois de escolher bolas, pergunto: qual é o peso médio das bolas na caixa? Sua melhor resposta seria . Você percebe que si é o valor aleatório? Depende de quais bolas você escolheu primeiro.k ˉ x k = $N$$k$ ˉ x k$\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$$\bar x_k$$k$

Agora, se você continuar puxando as bolas, em algum momento não haverá mais bolas na caixa e você receberá .$\bar x_N\equiv\mu$

Então, o que temos é a sequência aleatória que converge para a constante . Portanto, a chave para entender seu problema com convergência em probabilidade é perceber que estamos falando de uma sequência de variáveis ​​aleatórias, construídas de uma certa maneira . ˉ x N=

A seguir, vamos obter números aleatórios uniformes , onde . Vejamos a sequência aleatória , em que . O é um valor aleatório, porque todos os seus termos são valores aleatórios. Não podemos prever o que será . Entretanto, podemos afirmar que as distribuições de probabilidade de se parecerão cada vez mais com o padrão normal . É assim que as distribuições convergem.e i ∈ [ 0 , 1 ] ξ 1 , Ç $e_1,e_2,\dots$$e_i\in [0,1]$ξ k = $\xi_1,\xi_2,\dots$ξkξkξkN(0,1$\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$$\xi_k$$\xi_k$$\xi_k$$\mathcal{N}(0,1)$

Não está claro quanta intuição um leitor dessa pergunta pode ter sobre a convergência de qualquer coisa, muito menos de variáveis ​​aleatórias; portanto, escreverei como se a resposta fosse "muito pequena". Algo que pode ajudar: em vez de pensar "como uma variável aleatória pode convergir", pergunte como uma sequência de variáveis ​​aleatórias pode convergir. Em outras palavras, não é apenas uma variável única, mas uma (infinitamente longa!) Lista de variáveis, e as mais adiante na lista estão cada vez mais perto de ... alguma coisa. Talvez um número único, talvez uma distribuição inteira. Para desenvolver uma intuição, precisamos descobrir o que significa "cada vez mais perto". A razão pela qual existem tantos modos de convergência para variáveis ​​aleatórias é que existem vários tipos de "

Primeiro vamos recapitular a convergência de sequências de números reais. Em , podemos usar a distância euclidianapara medir o quão perto está de . Considere . Então a sequência começa e afirmo que converge para . Claramente está se aproximando de , mas também é verdade que está se aproximando de| x - y | x $\mathbb{R}$ $|x-y|$$x$$y$ x1$x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$2 , $x_1, \, x_2, \, x_3, \dots$xn1xn1xn0,90,50,910,90,050,9x20=1,050,051$2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$$x_n$$1$$x_n$$1$$x_n$$0.9$. Por exemplo, a partir do terceiro termo, os termos na sequência estão a uma distância de ou menos de . O que importa é que eles estão chegando arbitrariamente perto de , mas não de . Não há termos na seqüência já vêm dentro de , e muito menos estadia tão perto para termos subseqüentes. Por outro lado, também é de , e todos os termos subsequentes estão dentro de de , como mostrado abaixo.$0.5$$0.9$$1$$0.9$$0.05$$0.9$$x_{20}=1.05$$0.05$$1$$0.05$$1$

Eu poderia ser mais rigoroso e exigir que os termos obtenham e permaneçam dentro de de e, neste exemplo, acho que isso é verdade para os termos e seguintes. Além disso, eu poderia escolher qualquer limite fixo de proximidade , não importa quão rigoroso (exceto , ou seja, o termo realmente sendo ) e, eventualmente, a condição será satisfeito para todos os termos além de um determinado termo (simbolicamente: para , onde o valor de depende de quão rigoroso um1 N = 1000 ϵ ϵ = 0 1 | x n - x | < Ε n > N N ε x n = 1 $0.001$$1$$N=1000$$\epsilon$$\epsilon = 0$$1$$|x_n - x| \lt \epsilon$$n \gt N$$N$$\epsilon$Eu escolhi). Para exemplos mais sofisticados, observe que não estou necessariamente interessado na primeira vez que a condição é atendida - o próximo termo pode não obedecer à condição, e isso é bom, desde que eu possa encontrar um termo mais adiante na sequência para a qual a condição é atendida e permanece atendida para todos os termos posteriores. isso para , que também converge para , com sombreado novamente.$x_n = 1 + \frac{\sin(n)}{n}$$1$$\epsilon=0.05$

Agora considere e a sequência de variáveis aleatórias . Esta é uma sequência de RVs com , , e assim por diante. Em que sentidos podemos dizer que isso está se aproximando do próprio ?X n$X \sim U(0,1)$X1=2$X_n = \left(1 + \frac{1}{n}\right) X$$X_1 = 2X$$X_2 = \frac{3}{2} X$$X_3 = \frac{4}{3} X$$X$

Como e são distribuições, não apenas números únicos, a condição agora é um evento : mesmo para um fixo e isso pode ou não ocorrer . Considerando a probabilidade de ser atingido, gera convergência em probabilidade . Para , queremos a probabilidade complementar - intuitivamente, a probabilidade de que seja um pouco diferente (pelo menos ) de - para arbitrariamente pequeno, por tamanho suficientemente grande X | X n - X | < ϵ n ϵ X n p → X P ( | X n - X | ≥ ϵ ) X n ϵ X n ϵ P ( | X 1 - X | ≥ ϵ ) P ( | X 2 - X | ≥ ϵ ) P ( | $X_n$$X$$|X_n - X| \lt \epsilon$$n$$\epsilon$$X_n \overset{p}{\to} X$$P(|X_n - X| \ge \epsilon)$$X_n$$\epsilon$$X$$n$ . Para um fixo, isso gera toda uma sequência de probabilidades , , , , e se esta sequência de probabilidades converge para zero (como acontece no nosso exemplo), então dizemos converge em probabilidade para . Observe que os limites de probabilidade geralmente são constantes: por exemplo, em regressões em econometria, vemos medida que aumentamos o tamanho da amostra . Mas aqui$\epsilon$$P(|X_1 - X| \ge \epsilon)$$P(|X_2 - X| \ge \epsilon)$... X n X Plim ( β ) = β n Plim ( X n ) = X ~ L ( 0 , 1 ) X n X X n X ε $P(|X_3 - X| \ge \epsilon)$$\dots$$X_n$$X$$\text{plim}(\hat \beta) = \beta$$n$$\text{plim}(X_n) = X \sim U(0,1)$. Efetivamente, convergência em probabilidade significa que é improvável que e muito em uma realização específica - e eu posso fazer com que a probabilidade de e esteja além de tão pequena quanto eu queira, desde que eu escolha um suficientemente grande .$X_n$$X$$X_n$$X$$\epsilon$$n$

Um sentido diferente em que se aproxima de é que suas distribuições se parecem cada vez mais. Eu posso medir isso comparando seus CDFs. Em particular, escolha alguns nos quais é contínuo (no nosso exemplo para que seu CDF seja contínuo em todos os lugares e qualquer fará) e avalie o CDFs da sequência de s lá. Isso produz outra sequência de probabilidades, , , , e essa sequência converge para . As CDFs avaliadas em$X_n$$X$$x$$F_X(x) = P(X \leq x)$$X \sim U(0,1)$$x$$X_n$$P(X_1 \leq x)$$P(X_2 \leq x)$$P(X_3 \leq x)$$\dots$$P(X \leq x)$$x$ para cada um dos fica arbitrariamente próximo ao CDF de avaliado em . Se esse resultado for verdadeiro, independentemente de qual escolhemos, converge para na distribuição . Acontece que isso acontece aqui, e nós não deve ser surpreendido desde a convergência na probabilidade de implica convergência na distribuição de . Observe que não pode ser o caso de convergir em probabilidade para uma distribuição não degenerada específica, mas convergir em distribuição para uma constante.$X_n$$X$$x$$x$$X_n$$X$ $X$$X$$X_n$ (Qual foi possivelmente o ponto de confusão na pergunta original? Mas observe um esclarecimento posteriormente.)

Para um exemplo diferente, deixe . Agora temos uma sequência de RVs, , , , e é claro que a distribuição de probabilidade está degenerando para um pico em . Agora considere a distribuição degenerada , com a qual quero dizer . É fácil ver que, para qualquer , a sequência converge para zero, de forma que converge para em probabilidade. Como conseqüência,$Y_n \sim U(1, \frac{n+1}{n})$$Y_1 \sim U(1,2)$$Y_2 \sim U(1,\frac{3}{2})$$Y_3 \sim U(1,\frac{4}{3})$$\dots$$y=1$$Y=1$$P(Y=1)=1$$\epsilon \gt 0$$P(|Y_n - Y| \ge \epsilon)$$Y_n$$Y$$Y_n$também devemos convergir para na distribuição, o que podemos confirmar considerando as CDFs. Como o CDF de é descontínuo em , não precisamos considerar os CDFs avaliados nesse valor, mas para os CDFs avaliados em qualquer outro , podemos ver que a sequência , , , converge para que é zero para e um para . Desta vez, como a sequência de RVs convergiu em probabilidade para uma constante, também convergiu em distribuição para uma constante.$Y$$F_Y(y)$$Y$$y=1$$y$$P(Y_1 \leq y)$$P(Y_2 \leq y)$$P(Y_3 \leq y)$$\dots$$P(Y \leq y)$$y \lt 1$$y \gt 1$

Alguns esclarecimentos finais:

• Embora convergência em probabilidade implique convergência em distribuição, o inverso é falso em geral. Só porque duas variáveis ​​têm a mesma distribuição, não significa que é provável que elas se aproximem. Para um exemplo trivial, use e . Então e têm exatamente a mesma distribuição (uma chance de 50% de ser zero ou um) e a sequência ou seja, a sequência que passa por converge trivialmente na distribuição para (o CDF em qualquer posição na sequência é o mesmo que o CDF de ). Mas e$X\sim\text{Bernouilli}(0.5)$$Y=1-X$$X$$Y$$X_n=X$$X,X,X,X,\dots$$Y$$Y$$Y$$X$estão sempre um à parte, então portanto, não tende a zero, portanto não converge para em probabilidade. No entanto, se houver convergência na distribuição para uma constante , isso implica convergência em probabilidade para essa constante (intuitivamente, ainda mais na sequência, será improvável que esteja longe dessa constante).$P(|X_n - Y| \ge 0.5)=1$$X_n$$Y$
• Como meus exemplos deixam claro, a convergência em probabilidade pode ser constante, mas não precisa ser; a convergência na distribuição também pode ser constante. Não é possível convergir em probabilidade para uma constante, mas convergir em distribuição para uma distribuição não degenerada específica ou vice-versa.
• É possível que você tenha visto um exemplo em que, por exemplo, lhe disseram que uma sequência converteu outra sequência ? Você pode não ter percebido que era uma sequência, mas a distribuição seria se fosse uma distribuição que também dependesse de . Pode ser que ambas as sequências converjam para uma constante (ou seja, distribuição degenerada). Sua pergunta sugere que você está se perguntando como uma sequência específica de RVs pode convergir para uma constante e para uma distribuição; Gostaria de saber se este é o cenário que você está descrevendo.$X_n$ $Y_n$$n$
• Minha explicação atual não é muito "intuitiva" - eu pretendia tornar a intuição gráfica, mas ainda não tive tempo de adicionar os gráficos para os RVs.

Na minha opinião, todas as respostas existentes transmitem pontos úteis, mas não deixam clara uma distinção importante entre os dois modos de convergência.

Seja , e sejam variáveis ​​aleatórias. Por intuição, imagine que seus valores atribuídos por algum experimento aleatório que muda um pouco para cada , fornecendo uma sequência infinita de variáveis ​​aleatórias e suponha que obtenha seu valor atribuído por outro experimento aleatório.$X_n$$n=1,2,\dots$$Y$$X_n$$n$$Y$

Se , temos, por definição, que a probabilidade de e diferirem entre si por uma quantidade arbitrariamente pequena se aproxima de zero como , por uma quantidade tão pequena quanto você gostar. Em termos gerais, na sequência de , estamos confiantes de que e levarão valores muito próximos um do outro.$X_n\overset{p}{\to}Y$$Y$$X_n$$n\to\infty$$X_n$$X_n$$Y$

Por outro lado, se apenas temos convergência na distribuição e não convergência na probabilidade, sabemos que para o grande , é quase o mesmo que , para quase todo . Note que isso não diz nada sobre o quão perto os valores de e são uns com os outros. Por exemplo, se e, assim, também for distribuído dessa maneira para grande , parece intuitivamente provável que os valores de e$n$$P(X_n\leq x)$$P(Y\leq x)$$x$$X_n$$Y$$Y\sim N(0, 10^{10})$$X_n$$n$$X_n$$Y$diferirá bastante em qualquer observação. Afinal, se não houver restrição sobre eles além da convergência na distribuição, eles podem muito bem, por todos os motivos práticos, serem variáveis independentes .$N(0,10^{10})$

(Em alguns casos, pode não fazer sentido comparar e , talvez eles nem estejam definidos no mesmo espaço de probabilidade. Porém, essa é uma observação mais técnica.)$X_n$$Y$

O que não entendo é como uma variável aleatória pode convergir para um único número, mas também para uma distribuição?

Se você está aprendendo econometria, provavelmente está se perguntando sobre isso no contexto de um modelo de regressão. Ele converge para uma distribuição degenerada, para uma constante. Mas outra coisa tem uma distribuição limitadora não degenerada.

$\hat{\beta}_n$ converge em probabilidade para se as premissas necessárias forem atendidas. Isso significa que, ao escolher um tamanho de amostra grande o suficiente , o estimador estará o mais próximo possível do parâmetro true, com a probabilidade de ele estar mais distante, tão pequeno quanto desejar. Se você pensar em plotar o histograma de para vários , acabará sendo apenas um pico centrado em .$\beta$$N$$\hat{\beta}_n$$n$$\beta$

Em que sentido converge na distribuição? Também converge para uma constante. Não para uma variável aleatória distribuída normalmente. Se você calcular a variação de verá que ela diminui com . Então, eventualmente, ele chegará a zero em grande o suficiente , e é por isso que o estimador vai para uma constante. O que converge para uma variável aleatória distribuída normalmente é$\hat{\beta}_n$$\hat{\beta}_n$$n$$n$

nN(0,σ2) β$\sqrt{n}(\hat{\beta}_n - \beta)$ . Se você tomar a variação disso, verá que ele não diminui (nem cresce) com . Em amostras muito grandes, isso será aproximadamente sob suposições padrão. Podemos então usar essa aproximação para aproximar a distribuição de nessa amostra grande.$n$$N(0, \sigma^2)$$\hat{\beta}_n$

Mas você está certo de que a distribuição limitadora de também é uma constante.$\hat{\beta}_n$

Deixe-me tentar dar uma resposta muito curta, usando alguns exemplos muito simples.

Convergência na distribuição

Deixe , para todos os n, então converge para na distribuição. No entanto, a aleatoriedade na realização de não muda com o tempo. Se precisarmos prever o valor de , a expectativa do nosso erro não muda com o tempo.XnX∼N(0,1)XnX$X_n \sim N\left(\frac{1}{n}, 1 \right)$$X_n$$X \sim N(0, 1)$$X_n$$X_n$

Convergência em probabilidade

Agora, considere a variável aleatória que assume o valor com probabilidade e caso contrário. À medida que vai para o infinito, temos cada vez mais certeza de que será igual a . Portanto, dizemos que converge em probabilidade para . Observe que isso também implica que converge na distribuição para . 0 1 - $Y_n$$0$ 1nSn0Sn0Sn$1-\frac{1}{n}$$1$$n$$Y_n$$0$$Y_n$$0$$Y_n$$0$