Usando informações mútuas para estimar a correlação entre uma variável contínua e uma variável categórica

Quanto ao título, a idéia é usar informações mútuas, aqui e depois do IM, para estimar a "correlação" (definida como "o quanto eu sei sobre A quando conheço B") entre uma variável contínua e uma variável categórica. Em breve, vou lhe contar sobre o assunto, mas antes de aconselhá-lo a ler essa outra pergunta / resposta no CrossValidated, pois ele contém algumas informações úteis.

Agora, como não podemos integrar sobre uma variável categórica, precisamos discretizar a contínua. Isso pode ser feito facilmente no R, que é a linguagem com a qual fiz a maioria das minhas análises. Eu preferi usar a cutfunção, uma vez que ela também aliasa os valores, mas outras opções também estão disponíveis. O ponto é que é preciso decidir a priori o número de "posições" (estados discretos) antes que qualquer discretização possa ser feita.

O principal problema, no entanto, é outro: o MI varia de 0 a ∞, pois é uma medida não padronizada qual unidade é o bit. Isso torna muito difícil usá-lo como um coeficiente de correlação. Isso pode ser parcialmente resolvido usando o coeficiente de correlação global , aqui e depois do GCC, que é uma versão padronizada do MI; O GCC é definido da seguinte forma:

Referência: a fórmula é de Informação Mútua como Ferramenta Não Linear para Análise da Globalização do Mercado de Ações por Andreia Dionísio, Rui Menezes e Diana Mendes, 2010.

O CCG varia de 0 a 1 e, portanto, pode ser facilmente usado para estimar a correlação entre duas variáveis. Problema resolvido, certo? Bem, tipo isso. Como todo esse processo depende muito do número de 'lixeiras' que decidimos usar durante a discretização. Aqui estão os resultados dos meus experimentos:

No eixo y você tem GCC e no eixo x você tem o número de 'posições' que eu decidi usar para discretização. As duas linhas se referem a duas análises diferentes que eu conduzi em dois conjuntos de dados diferentes (embora muito semelhantes).

Parece-me que o uso do MI em geral e do GCC em particular ainda é controverso. No entanto, essa confusão pode ser o resultado de um erro do meu lado. Nesse caso, eu adoraria ouvir sua opinião sobre o assunto (também, você tem métodos alternativos para estimar a correlação entre uma variável categórica e uma contínua?).

Existe uma maneira mais simples e melhor de lidar com esse problema. Uma variável categórica é efetivamente apenas um conjunto de variáveis ​​indicadoras. É uma idéia básica da teoria das medidas que tal variável seja invariável à nova rotulagem das categorias; portanto, não faz sentido usar a rotulação numérica das categorias em qualquer medida da relação entre outra variável (por exemplo, 'correlação') . Por esse motivo, a medida da relação entre uma variável contínua e uma variável categórica deve se basear inteiramente nas variáveis ​​indicadoras derivadas dessa última.

$X$$I$$\phi \equiv \mathbb{P}(I=1)$

$$\mathbb{Cov}(I,X) = \mathbb{E}(IX) - \mathbb{E}(I) \mathbb{E}(X) = \phi \left[ \mathbb{E}(X|I=1) - \mathbb{E}(X) \right] ,$$

que dá:

$$\mathbb{Corr}(I,X) = \sqrt{\frac{\phi}{1-\phi}} \cdot \frac{\mathbb{E}(X|I=1) - \mathbb{E}(X)}{\mathbb{S}(X)} .$$

$X$$I$$\phi$$X$$I=1$

---

$C$$1, ..., m$$C=k$$I_k \equiv \mathbb{I}(C=k)$

$$\mathbb{Corr}(I_k,X) = \sqrt{\frac{\phi_k}{1-\phi_k}} \cdot \frac{\mathbb{E}(X|C=k) - \mathbb{E}(X)}{\mathbb{S}(X)} .$$

$\mathbb{Corr}(C,X) \equiv (\mathbb{Corr}(I_1,X), ..., \mathbb{Corr}(I_m,X))$

$\sum_k \mathbb{Cov}(I_k,X) = 0$$X$$m-1$

---

$(x_1, c_1), ..., (x_n, c_n)$

$$\hat{\phi}_k \equiv \frac{1}{n} \sum_{i=1}^n \mathbb{I}(c_i=k).$$

$$\hat{\mathbb{E}}(X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i=1}^n x_i.$$

$$\hat{\mathbb{E}}(X|C=k) \equiv \bar{x}_k \equiv \frac{1}{n} \sum_{i=1}^n x_i \mathbb{I}(c_i=k) \Bigg/ \hat{\phi}_k .$$

$$\hat{\mathbb{S}}(X) \equiv s_X \equiv \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}.$$

Substitution of these estimates would yield a basic estimate of the correlation vector. If you have parametric information on $X$ then you could estimate the correlation vector directly by maximum likelihood or some other technique.