Regressão linear multivariada vs. vários modelos de regressão univariados

Nas configurações de regressão univariada, tentamos modelar

onde um vetor de observações e a matriz de design com preditores. A solução é . n X ∈ R n × m m β 0 = ( X T X ) - 1 X $y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

Nas configurações de regressão multivariada, tentamos modelar

onde é uma matriz de observações diferentes variáveis ​​latentes. A solução é . n p β 0 = ( X T X ) - 1 X $y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Minha pergunta é: como isso é diferente de executar regressão linear univariada diferente? Li aqui que, no último caso, levamos em consideração a correlação entre as variáveis ​​dependentes, mas não a vejo na matemática.$p$

No cenário da regressão linear multivariada clássica, temos o modelo:

onde representa as variáveis ​​independentes, representa variáveis ​​de resposta múltipla e é um termo de ruído gaussiano iid. O ruído tem média zero e pode ser correlacionado entre as variáveis ​​de resposta. A solução de probabilidade máxima para os pesos é equivalente à solução de mínimos quadrados (independentemente das correlações de ruído) [1] [2]:Y $X$$Y$$\epsilon$

Isso é equivalente a resolver independentemente um problema de regressão separado para cada variável de resposta. Isso pode ser observado pelo fato de que a coluna de (contendo pesos para a variável de saída) pode ser obtida multiplicando pelo th coluna de (contendo valores da ésima variável de resposta).p i ( X T X ) - 1 X t i Y $i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

No entanto, a regressão linear multivariada difere da solução de problemas de regressão individuais separadamente, porque os procedimentos de inferência estatística são responsáveis ​​pelas correlações entre as variáveis ​​de resposta múltipla (por exemplo, consulte [2], [3], [4]). Por exemplo, a matriz de covariância de ruído aparece em distribuições de amostragem, estatísticas de teste e estimativas de intervalo.

Outra diferença surge se permitirmos que cada variável de resposta tenha seu próprio conjunto de covariáveis:

onde representa a ésima variável de resposta e e representam seu conjunto correspondente de covariáveis ​​e termos de ruído. Como acima, os termos de ruído podem ser correlacionados entre as variáveis ​​de resposta. Nesse cenário, existem estimadores que são mais eficientes do que mínimos quadrados e não podem ser reduzidos para resolver problemas de regressão separados para cada variável de resposta. Por exemplo, veja [1]. i X i ε $Y_i$$i$$X_i$$\epsilon_i$

Referências

1. Zellner (1962) . Um método eficiente de estimar regressões e testes aparentemente não relacionados para viés de agregação.
2. Helwig (2017) . Regressão linear multivariada [Slides]
3. Fox e Weisberg (2011) . Modelos lineares multivariados em R. [Apêndice a: Um companheiro R para regressão aplicada]
4. Maitra (2013) . Modelos de regressão linear multivariada. [Slides]