Correlação de Pearson ou Spearman com dados não normais

113

Recebo essa pergunta com bastante frequência no meu trabalho de consultoria estatística, que pensei em publicá-la aqui. Eu tenho uma resposta, que é postada abaixo, mas eu queria ouvir o que os outros têm a dizer.

Pergunta: Se você tem duas variáveis ​​que normalmente não são distribuídas, você deve usar o rho de Spearman para a correlação?

Jeromy Anglim
fonte
1
Por que não calcular e relatar os dois (re de Pearson e ρ de Spearman)? Sua diferença (ou falta dela) fornecerá informações adicionais.
Uma questão que compara as premissas distributivas feitas quando testamos para significância um simples coeficiente de regressão beta e quando testamos o coeficiente de correlação de Pearson (numericamente equivalente ao beta) stats.stackexchange.com/q/181043/3277 .
ttnphns

Respostas:

77

A correlação de Pearson é uma medida da relação linear entre duas variáveis ​​aleatórias contínuas. Não assume normalidade, embora assuma variações finitas e covariância finita. Quando as variáveis ​​são normais bivariadas, a correlação de Pearson fornece uma descrição completa da associação.

A correlação de Spearman se aplica a classificações e, portanto, fornece uma medida de uma relação monotônica entre duas variáveis ​​aleatórias contínuas. Também é útil com dados ordinais e é robusto para valores discrepantes (ao contrário da correlação de Pearson).

A distribuição de qualquer um dos coeficientes de correlação dependerá da distribuição subjacente, embora ambos sejam assintoticamente normais por causa do teorema do limite central.

Rob Hyndman
fonte
12
O Pearson não assume normalidade, mas é apenas uma medida exaustiva de associação se a distribuição articular for normal multivariada. Dada a confusão que essa distinção suscita, convém adicioná-la à sua resposta. ρ
user603
3
Existe uma fonte que possa ser citada para apoiar a declaração acima (o r da pessoa não assume normalidade)? No momento, estamos tendo o mesmo argumento em nosso departamento.
5
"Quando as variáveis ​​são normais bivariadas, a correlação de Pearson fornece uma descrição completa da associação." E quando as variáveis ​​NÃO são bivariadas normais, qual a utilidade da correlação de Pearson?
landroni
2
Esta resposta parece bastante indireta. "Quando as variáveis ​​são bivariadas normais ..." E quando não? Esse tipo de explicação é por que nunca recebo estatísticas. "Rob, como você gosta do meu vestido novo?" "A cor escura enfatiza sua pele clara." "Claro, Rob, mas você gosta de como isso enfatiza minha pele?" "A pele clara é considerada bonita em muitas culturas". "Eu sei, Rob, mas você gosta?" "Eu acho que o vestido é lindo." "Eu também acho, Rob, mas é bonito para mim ?" "Você sempre está linda para mim, querida." suspiro
1
Se você leu as duas frases antes disso, encontrará a resposta.
Rob Hyndman
49

Não esqueça o tau de Kendall ! Roger Newson defendeu a superioridade da Kendall τ a mais de Spearman de correlação r S como uma medida baseada em posto de correlação em um artigo cujo texto completo está agora disponível gratuitamente on-line:

Newson R. Parâmetros por trás das estatísticas "não paramétricas": tau de Kendall, D de Somers e diferenças médias . Stata Journal 2002; 2 (1): 45-64.

Ele refere (na pág. 47) Kendall & Gibbons (1990) como argumentando que "... os intervalos de confiança para r S de Spearman são menos confiáveis ​​e menos interpretáveis ​​do que os intervalos de confiança para os parâmetros τ de Kendall, mas a amostra r S de Spearman é muito mais fácil. calculado sem um computador "(que não é mais de muita importância, é claro). Infelizmente, não tenho acesso fácil a uma cópia do livro deles:

Kendall, MG e JD Gibbons. 1990. Rank Correlation Methods . 5a ed. Londres: Griffin.

uma parada
fonte
2
Eu também sou um grande fã do tau de Kendall. Pearson é sensível demais a pontos influentes / discrepantes para o meu gosto e, embora Spearman não sofra desse problema, pessoalmente acho Kendall mais fácil de entender, interpretar e explicar do que Spearman. Claro, sua milhagem pode variar.
Stephan Kolassa
Minha lembrança da experiência é que o tau de Kendall ainda é muito mais lento (em R) do que o de Spearman. Isso pode ser importante se o seu conjunto de dados for grande.
wordsforthewise
35

De uma perspectiva aplicada, estou mais preocupado em escolher uma abordagem que resuma o relacionamento entre duas variáveis ​​de uma forma que se alinhe à minha pergunta de pesquisa. Penso que determinar um método para obter erros padrão precisos e valores-p é uma questão que deve vir em segundo lugar. Mesmo se você optar por não confiar em assintóticos, sempre há a opção de iniciar ou alterar suposições distributivas.

Como regra geral, prefiro a correlação de Pearson porque (a) geralmente se alinha mais com meus interesses teóricos; (b) permite uma comparabilidade mais direta dos resultados entre os estudos, porque a maioria dos estudos na minha área relata a correlação de Pearson; e (c) em muitos contextos, há uma diferença mínima entre os coeficientes de correlação de Pearson e Spearman.

No entanto, há situações em que acho que a correlação de Pearson sobre variáveis ​​brutas é enganosa.

  • Outliers: Outliers podem ter grande influência nas correlações de Pearson. Muitos valores discrepantes nas configurações aplicadas refletem falhas de medição ou outros fatores aos quais o modelo não se destina a generalizar. Uma opção é remover esses valores discrepantes. Outliers univariados não existem no rho de Spearman porque tudo é convertido em classificações. Assim, Spearman é mais robusto.
  • Variáveis ​​altamente distorcidas: Ao correlacionar variáveis ​​distorcidas, particularmente variáveis ​​altamente distorcidas, um log ou alguma outra transformação geralmente torna mais clara a relação subjacente entre as duas variáveis ​​(por exemplo, tamanho do cérebro pelo peso corporal dos animais). Nessas configurações, pode ser que a métrica bruta não seja a métrica mais significativa de qualquer maneira. O rho de Spearman tem um efeito semelhante à transformação ao converter ambas as variáveis ​​em classificações. Nessa perspectiva, o rho de Spearman pode ser visto como uma abordagem rápida e suja (ou, mais positivamente, é menos subjetiva), na qual você não precisa pensar nas transformações ideais.

Nos dois casos acima, eu aconselharia os pesquisadores a considerar estratégias de ajuste (por exemplo, transformações, remoção / ajuste de outlier) antes de aplicar a correlação de Pearson ou usar o rho de Spearman.

Jeromy Anglim
fonte
O problema da transformação é que, em geral, também transforma os erros associados a cada ponto e, portanto, o peso. E isso não resolve o problema do discrepante.
skan
11

Atualizada

A pergunta nos pede para escolher entre o método de Pearson e Spearman quando a normalidade é questionada. Restringido a essa preocupação, acho que o documento a seguir deve informar a decisão de qualquer pessoa:

É bastante agradável e fornece uma pesquisa da literatura considerável, ao longo de décadas, sobre esse tópico - a partir das "superfícies mutiladas e distorcidas" de Pearson e da robustez da distribuição de . Pelo menos parte da natureza contraditória dos "fatos" é que grande parte desse trabalho foi feita antes do advento do poder da computação - o que complicou as coisas porque o tipo de não normalidade tinha que ser considerado e era difícil de examinar sem simulações.r

A análise de Kowalski conclui que a distribuição de não é robusta na presença de não normalidade e recomenda procedimentos alternativos. O artigo inteiro é bastante informativo e é uma leitura recomendada, mas pule para uma breve conclusão no final do artigo para um resumo.r

Se for solicitado que você escolha entre Spearman e Pearson quando a normalidade for violada, vale a pena defender a alternativa gratuita de distribuição, ou seja, o método de Spearman.


Anteriormente ..

A correlação de Spearman é uma medida de correlação baseada em classificação; não é paramétrico e não se baseia em uma suposição de normalidade.

A distribuição amostral da correlação de Pearson assume normalidade; em particular, isso significa que, embora você possa calcular, as conclusões baseadas em testes de significância podem não ser válidas.

Como Rob aponta nos comentários, com uma amostra grande, isso não é um problema. Porém, com amostras pequenas, onde a normalidade é violada, a correlação de Spearman deve ser preferida.

Atualização Analisando os comentários e as respostas, parece-me que isso se resume ao debate não-paramétrico versus testes paramétricos usuais. Grande parte da literatura, por exemplo, em bioestatística, não lida com grandes amostras. Geralmente não sou descuidado ao confiar em assintóticos. Talvez isso seja justificado neste caso, mas isso não é fácil para mim.

ars
fonte
1
Não. A correlação de Pearson NÃO assume normalidade. É uma estimativa da correlação entre quaisquer duas variáveis ​​aleatórias contínuas e é um estimador consistente em condições relativamente gerais. Mesmo testes baseados na correlação de Pearson não exigem normalidade se as amostras forem grandes o suficiente por causa do CLT.
Rob Hyndman
2
Tenho a impressão de que Pearson é definido desde que as distribuições subjacentes possuam variações finitas e covariâncias. Portanto, a normalidade não é necessária. Se as distribuições subjacentes não forem normais, a estatística de teste poderá ter uma distribuição diferente, mas isso é um problema secundário e não é relevante para a questão em questão. Não é assim?
2
@ Rob: Sim, sempre podemos encontrar soluções alternativas para que as coisas funcionem da mesma forma. Simplesmente para evitar o método de Spearman - com o qual a maioria dos não estatísticos pode lidar com um comando padrão. Acho que meu conselho continua sendo o de usar o método de Spearman para pequenas amostras em que a normalidade é questionável. Não tenho certeza se isso está em disputa aqui ou não.
ars
1
@ars. Eu usaria o Spearman's se estivesse interessado em associação monotônica ao invés de linear, ou se houvesse discrepâncias ou altos níveis de distorção. Eu usaria a Pearson's para relacionamentos lineares, desde que não haja discrepâncias. Não acho que o tamanho da amostra seja relevante para a escolha.
Rob Hyndman
3
@ Rob: OK, obrigado pela discussão. Concordo com a primeira parte, mas duvido da última, e incluiria que esse tamanho só desempenha um papel porque os assintóticos normais não se aplicam. Por exemplo, Kowalski 1972 tem uma boa pesquisa da história em torno disso e conclui que a correlação de Pearson não é tão robusta quanto se pensava. Veja: jstor.org/pss/2346598
ars