Correlação de Pearson dos conjuntos de dados com desvio padrão possivelmente zero?

Estou com problemas para calcular o coeficiente de correlação de Pearson dos conjuntos de dados com desvio padrão possivelmente zero (ou seja, todos os dados têm o mesmo valor).

Suponha que eu tenha os dois conjuntos de dados a seguir:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

O coeficiente de correlação "r" seria calculado usando a seguinte equação:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

No entanto, como todos os dados no conjunto de dados "y" têm o mesmo valor, o desvio padrão std_dev (y) seria zero e "r" seria indefinido.

Há alguma solução para esse problema? Ou devo usar outros métodos para medir a relação de dados nesse caso?

O pessoal da "teoria da amostragem" dirá que essa estimativa não existe. Mas você pode obter um, apenas precisa ser razoável quanto às informações anteriores e fazer um trabalho matemático muito mais difícil.

Se você especificou um método bayesiano de estimativa, e o posterior é o mesmo que o anterior, é possível dizer que os dados não dizem nada sobre o parâmetro. Como as coisas podem ficar "singulares" para nós, não podemos usar espaços de parâmetros infinitos. Estou assumindo que, porque você usa a correlação de Pearson, você tem uma probabilidade normal bivariada:

onde Qi=(xi-μx)

$$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$$ $$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$$

Agora, para indicar que um conjunto de dados pode ter o mesmo valor, escreva e obtemos:$y_i=y$

onde s2x=

$$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$$ $$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$$

E assim a sua probabilidade depende de quatro números, . Então, você deseja uma estimativa de ρ , portanto, é necessário multiplicar por um anterior e integrar os parâmetros de incômodo μ x , μ y , σ x , σ y . Agora, para nos prepararmos para a integração, "completamos o quadrado" ∑ i Q $s_x^2,y,\overline{x},N$$\rho$$\mu_x,\mu_y,\sigma_x,\sigma_y$

$$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$$

Agora devemos errar por precaução e garantir uma probabilidade adequadamente normalizada. Dessa forma, não podemos ter problemas. Uma dessas opções é usar um prior fracamente informativo, que apenas restringe o intervalo de cada um. Portanto, temos para as médias com plano anterior e L σ < σ x , σ y < U σ para os desvios padrão com jeffreys anteriores. É fácil estabelecer esses limites com um pouco de "senso comum" pensando sobre o problema. Vou pegar um anterior não especificado para $L_{\mu}<\mu_x,\mu_y<U_{\mu}$$L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$$\rho$, e assim obtemos (uniforme deve funcionar ok, se não truncar a singularidade em ):$\pm 1$

$$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$$

Onde . Isso fornece um posterior de:$A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

$$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$$ $$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

Now the first integration over $\mu_y$ can be done by making a change of variables $z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$ and the first integral over $\mu_y$ becomes:

$$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$$

And you can see from here, no analytic solutions are possible. However, it is also worthwhile to note that the value $\rho$ has not dropped out of the equations. This means that the data and prior information still have something to say about the true correlation. If the data said nothing about the correlation, then we would be simply left with $p(\rho)$ as the only function of $\rho$ in these equations.

It also shows how that passing to the limit of infinite bounds for $\mu_y$ "throws away" some of the information about $\rho$, which is contained in the complicated looking normal CDF function $\Phi(.)$. Now if you have a lot of data, then passing to the limit is fine, you don't loose much, but if you have very scarce information, such as in your case - it is important keep every scrap you have. It means ugly maths, but this example is not too hard to do numerically. So we can evaluate the integrated likelihood for $\rho$ at values of say $-0.99,-0.98,\dots,0.98,0.99$ fairly easily. Just replace the integrals by summations over a small enough intervals - so you have a triple summation

I agree with sesqu that the correlation is undefined in this case. Depending on your type of application you could e.g. calculate the Gower Similarity between both vectors, which is: $gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$ where $\delta$ represents the kronecker-delta, applied as function on $v1,v2$.

So for instance if all values are equal, gower(.,.)=1. If on the other hand they differ only in one dimension, gower(.,.)=0.9. If they differ in every dimension, gower(.,.)=0 and so on.

Of course this is no measure for correlation, but it allows you to calculate how close the vector with s>0 is to the one with s=0. Of course you can apply other metrics,too, if they serve your purpose better.

The correlation is undefined in that case. If you must define it, I would define it as 0, but consider a simple mean absolute difference instead.

This question is coming from programmers, so I'd suggest plugging in zero. There's no evidence of a correlation, and the null hypothesis would be zero (no correlation). There might be other context knowledge that would provide a "typical" correlation in one context, but the code might be re-used in another context.