Distribuição da correlação da amostra

Suponha que eu tenha uma grande população de pontos de dados e que a correlação de Pearson seja $(x,y)$

corr (X, Y) = ρ

$\textrm{corr}(X,Y) = \rho$

O que posso dizer razoavelmente sobre a correlação que espero observar em uma amostra de tamanho ? Se a correlação da amostra for , aproximadamente qual é o spread ? É tendenciosa? $n$ $\rho_s$ $\rho_s$ $\rho_s$

Se fizermos algumas suposições como normalidade, podemos calcular a função de probabilidade exata de como uma função de ? $\rho_s$ $\rho$

(Por fim, estou pensando no problema de saber se uma correlação alta observada é um acaso ou não, e tudo o que tenho é o tamanho da amostra e a correlação.)

correlation Mark Eichenlaub
fonte

onestop forneceu uma resposta que, com sorte, lhe dará o suficiente para continuar. Se você realmente deseja saber sobre a distribuição do coeficiente de correlação da amostra em si, a referência definitiva é: Hotelling, H. (1953). Nova luz sobre o coeficiente de correlação e suas transformações. Jornal da Sociedade Estatística Real, Série B, 15, 193-232. Observe que isso não é leitura clara.

Wolfgang

Eu não acho que seus gráficos estão certos. Acabei de desenhar alguns gráficos da distribuição derivada da fórmula de Fisher, que mostram que está corretamente centralizada. De fato, é bastante óbvio a partir da fórmula que deve ser assintoticamente imparcial para . Você poderia postar o núcleo matemático do seu código?

N \to \infty

$N \rightarrow \infty$

onestop

@onestop Claro. Adicionado código do Mathematica.

Mark Eichenlaub

Não é assim que os pdfs se transformam - é um pouco mais complicado. Veja en.wikipedia.org/wiki/…

onestop

@ onestop Claro. Obrigado. Percebi que havia um problema depois que eu publiquei o código, mas levaria um tempo para descobrir como corrigi-lo.

Mark Eichenlaub

Respostas:

Para citar o artigo da Wikipedia sobre a transformação de Fisher :

Se tiver uma distribuição normal bivariada e se os pares usados para formar o coeficiente de correlação da amostra forem independentes para então $(X, Y)$ $(X_i, Y_i)$ $r$ $i = 1, \ldots, n,$ é distribuído aproximadamente normalmente com média

z = \frac{1}{2} \ln \frac{1 + r}{1 - r} = arctanh (r)

$z = {1 \over 2}\ln{1+r \over 1-r} = \operatorname{arctanh}(r)$

e o erro padrão

\frac{1}{2} \ln \frac{1 + ρ}{1 - ρ},

${1 \over 2}\ln{{1+\rho} \over {1-\rho}},$

onde

é o tamanho da amostra.

\frac{1}{\sqrt{N - 3}},

${1 \over \sqrt{N-3}},$

N

$N$

uma parada
fonte

desculpe-me por não aceitar. Quando tentei usar essa resposta, descobri que não funcionava para a situação em que me interessava (altos coeficientes de correlação).

Mark Eichenlaub

@ Marcos, eu fiz algumas simulações com R, tudo é válido bonita para correlação 0,75

mpiktas

@mpiktas Sim, você está certo, obrigado. Cometi um erro no meu caderno.

Mark Eichenlaub

A distribuição exata é conhecida: é dada por uma função hipergeométrica .

whuber