Qual é a principal diferença entre correlação e informação mútua?

Respostas:

25

A correlação mede a relação linear (correlação de Pearson) ou a relação monotônica (correlação de Spearman) entre duas variáveis, X e Y.

A informação mútua é mais geral e mede a redução da incerteza em Y após a observação de X. É a distância em KL entre a densidade da junta e o produto das densidades individuais. Portanto, o MI pode medir relacionamentos não monotônicos e outros relacionamentos mais complicados.

Rob Hyndman
fonte
3
A correlação não é necessariamente linear - o rho de Spearman depende da função monotônica e, no entanto, nos referimos a ela como um "coeficiente de correlação", não "coeficiente de informação mútua". E por uma boa razão: fornece informações sobre a associação entre duas variáveis. Informação mútua, informação redundante, variação mútua, correlação - esses termos são muito semelhantes, e esta pergunta se refere à reconstrução da rede , então acho que acabamos na área errada com a terminologia correta. Esta é uma pergunta bastante específica ...
aL3xa 31/07
1
Bom ponto. Eu editei minha resposta para incluir relacionamentos monotônicos. Não sei nada sobre reconstrução de redes.
Rob Hyndman
4

Para adicionar à resposta de Rob ... com relação à engenharia reversa de uma rede, o MI pode ter preferência sobre a correlação quando você deseja extrair links causais em vez de associativos em sua rede. As redes de correlação são puramente associativas. Mas para o MI, você precisa de mais dados e poder de computação.

ars
fonte