É possível ter um par de variáveis ​​aleatórias gaussianas para as quais a distribuição conjunta não é gaussiana?

Alguém me fez essa pergunta em uma entrevista de emprego e eu respondi que sua distribuição conjunta é sempre gaussiana. Pensei que sempre posso escrever um gaussiano bivariado com seus meios, variância e covariâncias. Gostaria de saber se pode haver um caso em que a probabilidade conjunta de dois gaussianos não seja gaussiana?

A distribuição normal bivariada é a exceção , não a regra!

É importante reconhecer que "quase todas" distribuições conjuntas com marginais normais não são a distribuição normal bivariada. Ou seja, o ponto de vista comum de que distribuições conjuntas com marginais normais que não são o normal bivariado são de alguma forma "patológicas", é um pouco equivocado.

Certamente, o normal multivariado é extremamente importante devido à sua estabilidade sob transformações lineares e, portanto, recebe grande parte da atenção nas aplicações.

Exemplos

É útil começar com alguns exemplos. A figura abaixo contém mapas de calor de seis distribuições bivariadas, todas com marginais normais padrão. Os esquerdos e médios na linha superior são normais bivariados, os demais não são (como deve ser aparente). Eles são descritos mais abaixo.

Os ossos nus das cópulas

As propriedades da dependência são frequentemente analisadas eficientemente usando cópulas . Uma cópula bivariada é apenas um nome sofisticado para uma distribuição de probabilidade no quadrado da unidade com marginais uniformes .$[0,1]^2$

Suponha que seja uma cópula bivariada. Então, imediatamente acima, sabemos que , e , por exemplo.C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = $C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Podemos construir variáveis ​​aleatórias bivariadas no plano euclidiano com marginais pré - especificados por uma simples transformação de uma cópula bivariada. Permita que e sejam distribuições marginais prescritas para um par de variáveis ​​aleatórias . Então, se é uma cópula bivariada, é uma função de distribuição bivariada com os marginais e . Para ver esse último fato, observe que O mesmo argumento funciona para .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

Para e contínuos , o teorema de Sklar afirma uma inversa, implicando singularidade. Ou seja, dada uma distribuição bivariada com marginais contínuos , , a cópula correspondente é única (no espaço de intervalo apropriado).$F_1$$F_2$$F(x,y)$$F_1$$F_2$

O normal bivariado é excepcional

O teorema de Sklar nos diz (essencialmente) que existe apenas uma cópula que produz a distribuição normal bivariada. Este é, apropriadamente chamado, a cópula gaussiana que tem densidade em que o numerador é a distribuição normal bivariada com correlação avaliada em e .$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Porém, existem muitas outras cópulas e todas elas fornecerão uma distribuição bivariada com marginais normais, que não é a bivariada normal, usando a transformação descrita na seção anterior.

Alguns detalhes nos exemplos

Observe que se for uma cópula arbitrária com densidade , a densidade bivariada correspondente com marginais normais padrão sob a transformação é $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Observe que, aplicando a cópula gaussiana na equação acima, recuperamos a densidade normal bivariada. Mas, para qualquer outra opção de , não o faremos.$c(u,v)$

Os exemplos na figura foram construídos da seguinte maneira (passando por cada linha, uma coluna por vez):

1. Bivariada normal com componentes independentes.
2. Bivariada normal com .$\rho = -0.4$
3. O exemplo dado nesta resposta de Dilip Sarwate . Pode-se ver facilmente induzido pela cópula com densidade .$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Gerado a partir da cópula de Frank com o parâmetro .$\theta = 2$
5. Gerado a partir da cópula de Clayton com o parâmetro .$\theta = 1$
6. Gerado a partir de uma modificação assimétrica da cópula de Clayton com o parâmetro .$\theta = 3$

É verdade que cada elemento de um vetor normal multivariado é ele próprio normalmente distribuído e você pode deduzir suas médias e variações. No entanto, não é verdade que duas variáveis ​​aleatórias da Guassiana sejam distribuídas normalmente em conjunto. Aqui está um exemplo:

Edit: Em resposta ao consenso de que uma variável aleatória que é uma massa pontual pode ser considerada uma variável normalmente distribuída com , estou mudando meu exemplo.$\sigma^2=0$

---

Seja e onde é uma variável aleatória . Ou seja, cada um com probabilidade .$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

Primeiro, mostramos que tem uma distribuição normal padrão. $Y$Pela lei da probabilidade total ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Próximo,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

onde é o CDF normal padrão . Similarmente,$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

Portanto,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

então, o CDF de é , portanto .$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

Agora mostramos que não são normalmente distribuídos em conjunto. $X,Y$Como @cardinal aponta, uma caracterização do normal multivariado é que toda combinação linear de seus elementos é normalmente distribuída. não tem essa propriedade, pois$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

Portanto, é uma mistura de uma variável aleatória e uma massa pontual em 0, portanto, não pode ser normalmente distribuída.$Y+X$$50/50$$N(0,4)$

A postagem a seguir contém um esboço de uma prova, apenas para fornecer as principais idéias e começar.

Seja duas variáveis ​​aleatórias gaussianas independentes e seja $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

Cada , mas como ambas são combinações lineares dos mesmos r.vs independentes, elas são dependentes em conjunto.$X_i \sim N(\mu_i, \sigma_i^2)$

Definição Diz-se que um par de r.vs é bivariado normalmente distribuído se puder ser escrito como uma combinação linear de r.vs normais independentes .$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

Lema Se é um gaussiano bivariado, qualquer outra combinação linear deles é novamente uma variável aleatória normal.$x = (X_1, X_2)$

Prova . Trivial, pulado para não ofender ninguém.

Propriedade Se não são correlacionados, eles são independentes e vice-versa.$X_1, X_2$

Distribuição de$X_1 | X_2$

Suponha que sejam os mesmos r.vs gaussianos de antes, mas vamos supor que eles tenham variação positiva e média zero por simplicidade.$X_1, X_2$

Se é o subespaço estendido por , deixe e .$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ e são combinações lineares de , então também. Eles são conjuntamente gaussianos, não correlacionados (provam) e independentes.$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

A decomposição mantém com

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

Então

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

Duas variáveis ​​aleatórias gaussianas univariadas são conjuntamente gaussianas se os condicionais e são gaussianos.X | Y Y | $X, Y$$X | Y$$Y|X$