O paradoxo dos dados iid (pelo menos para mim)

24

Na medida em que meu conhecimento agregado (e escasso) sobre estatística permite, entendi que se são suas variáveis ​​aleatórias, como o termo implica, elas são independentes e distribuídas de forma idêntica.X1,X2,...,Xn

Minha preocupação aqui é a antiga propriedade das amostras de iid, que diz:

p(Xn|Xi1,Xi2,...,Xik)=p(Xn),

para qualquer coleção de st diferente de .ij1ij<n

No entanto, sabe-se que o agregado de amostras independentes de distribuições idênticas fornece informações sobre a estrutura de distribuição e, como resultado, sobre no caso acima; portanto, não deve ser o caso em que: p ( X n | X I 1 , X i 2 , . . . , X i k ) = p ( x n ) .Xn

p(Xn|Xi1,Xi2,...,Xik)=p(Xn).

Sei que sou vítima de falácia, mas não sei por quê. Por favor me ajude neste.

Cupitor
fonte
Você conhece o governo de Bayes? Ouvi falar de clássicos. vs estatísticas bayesianas? Priores?
Matthew Gunn
1
Não sigo o argumento no final da sua pergunta. Você pode ser mais explícito?
Glen_b -Reinstala Monica
@Glen_b o que é exatamente o que você não segue? O que você quer dizer com final? Estou tentando dizer, com diferentes lógicas, que tanto a igualdade quanto a desigualdade parecem plausíveis, o que é um paradoxo.
Cupitor
Não há paradoxo aqui - apenas uma falha na aplicação das definições apropriadas. Você não pode alegar ter um paradoxo quando ignora o significado das palavras que usa! Nesse caso, comparar a definição de independente com a de probabilidade revelará o erro.
whuber
@whuber, suponho que você tenha notado o explícito "(pelo menos para mim)" no título da minha pergunta e também o fato de pedir ajuda para encontrar a "falácia" do meu argumento, o que aponta para o fato de que isso de fato não é um verdadeiro paradoxo.
Cupitor

Respostas:

30

Eu acho que você está confundindo um modelo estimado de uma distribuição com uma variável aleatória . Vamos reescrever a suposição de independência da seguinte maneira: que diz que se você conhece a distribuição subjacente de (e, por exemplo, pode identificá-la por um conjunto de parâmetros ), a distribuição não muda, pois você observou algumas amostras dela. Xnθ

(1)P(Xn|θ,XEu1,XEu2,...,XEuk)=P(Xn|θ)
Xnθ

Por exemplo, pense em como a variável aleatória que representa o resultado do ésimo lançamento de uma moeda. Conhecer a probabilidade de cabeça e cauda da moeda (que, suponha, está codificada em ) é suficiente para conhecer a distribuição de . Em particular, o resultado dos lançamentos anteriores não altera a probabilidade de cabeça ou cauda para o ésimo lançamento e vale. n θ X n n ( 1 )XnnθXnn(1)

Observe, no entanto, que .P(θ|Xn)P(θ|XEu1,XEu2,...,XEuk)

Sobi
fonte
Muito obrigado. Bem direto ao ponto. Muito engraçado que adivinhei tal resposta há um tempo atrás, mas esqueci-me disso ... Até onde eu entendo, a falácia é implicitamente assumir "um modelo" que pode parametrizar a distribuição da variável aleatória. Eu entendi direito?
Cupitor
1
@ Copit: Fico feliz que tenha sido útil. Sim, condicionadas ao modelo, as variáveis ​​aleatórias independentes não se afetam. Mas, qual a probabilidade de uma determinada distribuição ter gerado uma sequência de mudanças nos resultados à medida que você vê mais amostras da distribuição (verdadeira) subjacente (independentemente da suposição de independência).
Sobi 13/12
15

Se você adotar uma abordagem bayesiana e tratar parâmetros que descrevem a distribuição de como uma variável / vetor aleatório, as observações realmente não são independentes, mas seriam condicionalmente independentes, dado o conhecimento de portanto, aguentaria.θ P ( X nX n - 1 , X 1 , θ ) = P ( X nθ )XθP(XnXn1,X1,θ)=P(Xnθ)

Em uma abordagem estatística clássica, não é uma variável aleatória. Os cálculos são feitos como se soubéssemos o que é . Em certo sentido, você está sempre condicionando (mesmo que não saiba o valor).θ θθθθ

Quando você escreveu "... forneça informações sobre a estrutura de distribuição e, como resultado, sobre ", você estava adotando implicitamente uma abordagem bayesiana, mas não exatamente. Você está escrevendo uma propriedade de amostras de IID que um frequentista escreveria, mas a declaração correspondente em uma configuração bayesiana envolveria condicionamento em . θXnθ

Estatísticos bayesianos vs. clássicos

Seja o resultado de lançar uma moeda desigual e injusta. Não sabemos a probabilidade da moeda cair na cara.xEu

  • Para o estatístico clássico, o frequentista é algum parâmetro, vamos chamá-lo . Observe que aqui é um escalar, como o número 1/3. Podemos não saber qual é o número, mas é algum número! É não aleatória!P(xEu=H)θθ
  • Para o estatístico bayesiano, si é uma variável aleatória! Isto é extremamente diferente!θ

A idéia principal aqui é que o estatístico bayesiano estende as ferramentas de probabilidade para situações em que o estatístico clássico não . Para o freqüentador, não é uma variável aleatória porque possui apenas um valor possível ! Vários resultados não são possíveis! Porém, na imaginação bayesiana, vários valores de são possíveis, e o bayesiano está disposto a modelar essa incerteza (em sua própria mente) usando as ferramentas da probabilidade.θθ

Para onde isso vai?

Digamos que jogamos a moeda vezes. Um flip não afeta o resultado do outro. O estatístico clássico chamaria esses flips independentes (e de fato são). Teremos: Onde é desconhecido parâmetro. (Lembre-se, nós não sabemos o que é, mas é não uma variável aleatória! É algum número.)P (n

P(xn=Hxn-1,xn-2,...,x1)=P(xn=H)=θ
θ

Um bayesiano profundamente envolvido na probabilidade subjetiva diria que o que importa é a probabilidade da perspectiva dela! . Se ela vê 10 cabeças seguidas, uma 11ª cabeça é mais provável porque 10 cabeças seguidas levam a acreditar que a moeda é desequilibrada em favor das cabeças.

P(x11=Hx10=H,x9=H,...,x1=H)>P(x1=H)

O que aconteceu aqui? O que está diferente?! Atualizando crenças sobre uma variável aleatória latente ! Se for tratado como uma variável aleatória, os flips não serão mais independentes. Mas, os flips são condicionalmente independentes, dado o valor de .θθθ

P(x11=Hx10=H,x9=H,...,x1=H,θ)=P(x1=Hθ)=θ

Condicionar em em certo sentido, conecta como o estatístico bayesiano e o estatístico clássico modelam o problema. Ou, em outras palavras, o freqüentista e o estatístico bayesiano concordarão se as condições bayesianas se mantêm em .θθθ

Notas adicionais

Eu tentei o meu melhor para dar uma breve introdução aqui, mas o que eu fiz é, na melhor das hipóteses, bastante superficial e os conceitos são, em certo sentido, bastante profundos. Se você quiser mergulhar na filosofia da probabilidade, o livro de Savage de 1954, Foundation of Statistics é um clássico. Google para bayesian vs. frequentist e uma tonelada de coisas surgirão.

Outra maneira de pensar sobre os desvios da IID é o teorema de Finetti e a noção de permutabilidade . Em uma estrutura bayesiana, a permutabilidade é equivalente à independência condicional em alguma variável aleatória latente (neste caso, a desigualdade da moeda).

Matthew Gunn
fonte
Em essência, a abordagem bayesiana trataria a afirmação "variáveis ​​aleatórias da IID " não como um axioma de que elas devem ser IID, mas apenas como uma suposição prévia muito forte de que são - e se evidências ainda mais fortes sugerem que é extremamente improvável que o dado Se as premissas forem verdadeiras, essa "descrença nas condições dadas" será refletida nos resultados.
Peteris
Muito obrigado pela sua resposta completa. Tenho upvoted-lo, mas eu acho que a resposta de Sobi, aponta mais explicitamente onde as mentiras de problema, ou seja, assumindo implicitamente a estrutura do modelo (ou este é, tanto quanto eu entendi)
Cupitor
1
@ Matthew Gunn: limpo, completo e muito bem explicado! Aprendi algumas coisas com a sua resposta, obrigado!
Sobi 13/12/2015