O que significa "tudo o resto" significa na regressão múltipla?

22

Quando fazemos várias regressões e dizemos que estamos olhando para a mudança média na variável para uma mudança na variável , mantendo todas as outras variáveis ​​constantes, em quais valores estamos mantendo as outras variáveis ​​constantes? A média deles? Zero? Qualquer valor?xyx

Estou inclinado a pensar que tem algum valor; apenas procurando esclarecimentos. Se alguém tivesse uma prova, isso seria ótimo também.

EconStats
fonte
2
Eu achei o exemplo 10 no artigo de Peter Kennedy muito útil para entender isso.
Dimitriy V. Masterov
Sim, o pouco sobre aumentar o número de quartos e manter os pés quadrados constantes é um ponto realmente atento. Esse artigo é na verdade uma mina de ouro de idéias úteis, está nas notas de doutorado.
EconStats
1
Esta é realmente uma pergunta muito interessante, eu me pergunto se os economistas se perguntam o que "ceteris paribus" significa exatamente.
mugen

Respostas:

26

Você está certo. Tecnicamente, é qualquer valor . No entanto, quando eu ensinar isso eu costumo dizer às pessoas que você está recebendo o efeito de uma mudança uma unidade em Xj quando todas as outras variáveis são realizadas em seus respectivos meios. Eu acredito que essa é uma maneira comum de explicar que não é específica para mim.

Costumo mencionar que, se você não tiver nenhuma interação, será o efeito de uma alteração de uma unidade em X j , independentemente dos valores de suas outras variáveis. Mas eu gosto de começar com a formulação média. O motivo é que existem dois efeitos da inclusão de várias variáveis ​​em um modelo de regressão. Primeiro, você obtém o efeito de X j controlando as outras variáveis ​​(veja minha resposta aqui ). A segunda é que a presença de outras variáveis ​​(normalmente) reduz a variação residual do modelo, tornando suas variáveis ​​(incluindo X jβjXjXjXj) 'Mais significante'. É difícil para as pessoas entenderem como isso funciona se as outras variáveis ​​tiverem valores que estão em todo lugar. Parece que isso aumentaria a variabilidade de alguma forma. Se você pensar em ajustar cada ponto de dados para cima ou para baixo para o valor de cada outra variável até que todas as demais variáveis tenham sido movidas para suas respectivas médias, é mais fácil ver que a variabilidade residual foi reduzida. X

Não interajo até uma ou duas aulas depois de apresentar os conceitos básicos da regressão múltipla. No entanto, quando chego a eles, volto a este material. O acima se aplica quando não interações. Quando há interações, é mais complicado. Nesse caso, a variável de interação [s] está sendo mantida constante (muito especificamente) em e em nenhum outro valor. 0 0

Se você quiser ver como isso ocorre algebricamente, é bastante direto. Podemos começar com o caso de não interação. Vamos determinar a mudança no Y quando todas as outras variáveis são constantes realizada em seus respectivos meios. Sem perda de generalidade, vamos dizer que existem três X variáveis e estamos interessados em compreender como a mudança em Y está associada com uma mudança uma unidade em X 3 , segurando X 1 e X 2 constantes em seus respectivos meios: Y^XY^X3X1X2

Y^i=β^0+β^1X¯1+β^2X¯2+β^3X3iY^i=β^0+β^1X¯1+β^2X¯2+β^3(X3i+1) subtracting the first equation from the second: Y^iY^i=β^0β^0+β^1X¯1β^1X¯1+β^2X¯2β^2X¯2+β^3(X3i+1)β^3X3iΔY=β^3X3i+β^3β^3X3iΔY=β^3

Agora é óbvio que poderíamos colocar qualquer valor para e X 2 nas duas primeiras equações, desde que atribuíssemos o mesmo valor para X 1 ( X 2 ) em ambas. Ou seja, enquanto mantivermos X 1 e X 2 constantes . X1X2X1X2X1X2

Por outro lado, não funciona dessa maneira se você tiver uma interação. Aqui mostro o caso em que há um termo de interação : X1X3

Y^i=β^0+β^1X¯1+β^2X¯2+β^3X3i +β^4X¯1X3iY^i=β^0+β^1X¯1+β^2X¯2+β^3(X3i+1)+β^4X¯1(X3i+1) subtracting the first equation from the second: Y^iY^i=β^0β^0+β^1X¯1β^1X¯1+β^2X¯2β^2X¯2+β^3(X3i+1)β^3X3i+ β^4X¯1(X3i+1)β^4X¯1X3iΔY=β^3X3i+β^3β^3X3i+β^4X¯1X3i+β^4X¯1β^4X¯1X3iΔY=β^3+β^4X¯1

Nesse caso, não é possível manter tudo o mais constante. Como o termo de interação é uma função de e X 3 , não é possível alterar X 3 sem que o termo de interação também seja alterado. Assim, p 3 é igual à variação em Y associado com uma mudança uma unidade em X 3 somente quando a variável de interagir ( X 1 ) é mantida a 0 em vez de ˉ X 1 (ou qualquer outro valor, mas 0 ), em cujo caso o último termo na equação inferior desaparece. X1X3X3β^3Y^X3 X10X¯10

Nesta discussão, concentrei-me nas interações, mas, de maneira mais geral, o problema é quando existe uma variável que é função de outra, de forma que não é possível alterar o valor da primeira sem alterar o valor respectivo da outra variável. . Em tais casos, o significado de β j torna-se mais complicada. Por exemplo, se tinha um modelo com X j e X 2 j , então β j é o derivado d Yβ^jXjXj2β^j mantendo todo o resto igual e mantendoXj=0(veja minha respostaaqui). Outras formulações ainda mais complicadas também são possíveis. dYdXjXj=0

- Reinstate Monica
fonte
1
Obrigado, esta resposta é ótima em alguns níveis. Em primeiro lugar, ele responde ao ponto principal em que eu estava interessado. Em segundo lugar, você previu qual seria minha pergunta de acompanhamento, porque eu perguntaria como isso mudou com a introdução dos termos de interação. Obrigado pela matemática também. Eu sei que essa pergunta é meio básica, mas eu sinto que você nunca pode ser muito explícito com esses conceitos.
EconStats
De nada, @EconStats. Não há nenhum problema em incluir a matemática, às vezes fica muito mais fácil entender o que está acontecendo.
gung - Restabelece Monica
Bem, eu tenho que dizer que quando você subtraiu a primeira equação da segunda equação, finalmente confirmou meus pensamentos originais de que não importa quais são os valores de e X 3 , desde que sejam os mesmos nas duas equações. Parece tão óbvio para mim, mas eu nunca pensei em calcular o β dessa maneira antes. Momento definitivo de lâmpada para mim. X2X3β
EconStats
Você também pode tomar a derivada de wrt X j e vai chegar ao mesmo lugar, mas esta é a matemática mais fácil (essencialmente álgebra do ensino médio), por isso vai ser acessível a um público mais amplo. YXj
gung - Restabelece Monica
1
@ beterraba, se bem entendi, você apenas a segura em um nível especificado. (Caso contrário, você pode fazer isso como uma nova pergunta.)
gung - Reinstate Monica
8

A matemática é simples, basta considerar a diferença entre dois modelos com uma das variáveis ​​x alteradas por 1 e você verá que não importa quais são as outras variáveis ​​(dado que não há interações, polinômios ou outros termos complicadores).

Um exemplo:

y[1]=b0+b1×x1+b2×x2

y[2]=b0+b1×(x1+1)+b2×x2

y[2]y[1]=b0b0+b1×x1b1×x1+b1×1+b2×x2b2×x2=b1

Greg Snow
fonte
6

XEu

Y=β0 0+β1X1+β2X2
XEuYΔYΔXEuΔXEuXj

X1X2β12=0 0Y=β0 0+β1X1+β2X2+β12X1X2

Assim como uma tangente interessante, aqui está um exemplo: Seja X1N(0 0,σ12)X2=X12+N(0 0,σ22)X1X2

cov(X1,X2)=E(X1X2)-E(X1)E(X2)
=E[X1(X12+uma)]-E(X1).E(X12-uma)WEuthumaN(0 0,σ22)
=E(X13)E(X1.a)0.E(X12a)=000=0

X1X2ΔYΔXiX1ΔYΔXiXiY

ΔYΔXi

Hans Roggeman
fonte
Obrigado Hans, eu estava realmente tentando chegar ao ponto que o gung fez, mas este é um bom exemplo de quando as duas variáveis ​​são dependentes.
EconStats