Qual é a diferença entre o regressor estocástico e o regressor não estocástico na regressão linear?

Suponha que a especificação de regressão seja

$$y_i=\beta_0+\beta_1x_i+\epsilon_i,$$ Não importa $x_i$ estocástico ou não, precisaremos assumir que $\epsilon_i$ é distribuído da mesma forma para todos $i$. No entanto, se$x_i$é uma variável aleatória estocástica em vez de um valor fixo; é necessário outro pressuposto, a saber, que o termo de perturbação tenha expectativa condicional zero; em outras palavras,$\epsilon_i$ é distribuído independentemente de $x_i$.

Minha pergunta é como essa suposição faz diferença na prática? Sinto que, na prática, não há como avaliar se$\epsilon_i$ é distribuído independentemente ou depende de $x_i$ já que temos apenas uma observação de $(x_i,y_i)$ para cada $i$.

Na prática, a diferença é enorme. A suposição exógena a que você se refere exige que os erros não sejam correlacionados com os regressores. Se eles estão correlacionados, você não pode confiar nas regressões com regressores estocásticos.

Por exemplo, em estudos observacionais, como praticamente toda a economia, você não controla os regressores. Você não pode definir o PIB dos EUA para um nível desejado, apenas pode observá-lo. Portanto, no modelo em que o PIB é um regressor, você deseja que os erros sejam independentes do PIB, porque nesse modelo você pode assumir apenas regressores estocásticos.

Quando seus erros estão correlacionados com os regressores, você obtém um problema de endogeneidade. Existem maneiras de lidar com isso, como o uso de regressores atrasados ​​ou variáveis ​​instrumentais.

Na econometria, um exemplo de livro didático é o impacto do preço exógeno na demanda. Estamos falando de equações típicas de oferta e demanda. Aqui, o problema é que os preços também dependem da oferta. Portanto, há uma questão de endogeneidade, que qualquer economista indicará prontamente. Isso é para responder à sua pergunta sobre a viabilidade de testar a suposição.

Depois de descobrir que a endogeneidade está aqui, você pode procurar a chamada variável instrumental. Estes são regressores que estão correlacionados com o preço, mas não com a demanda, ou seja, algo que pode impactar a oferta, por exemplo. Se a demanda é por laranjas, talvez uma temperatura na Flórida na primavera seja um instrumento adequado, porque isso afetará a oferta de laranjas - e o preço - mas não a demanda. Então, você conecta esse instrumento à regressão e mostra o impacto do preço sob demanda

Observe que não exigimos $\epsilon_i$ ter a mesma distribuição para todos $i$. Variações desiguais podem ser tratadas através de mínimos quadrados ponderados ou erros padrão tornados robustos à heterocedasticidade, enquanto correlações entre o termo de erro podem ser tratadas usando erros padrão de Huber-White.

Concordo que nunca podemos avaliar se $\epsilon_i$ está correlacionado com $x_i$. No meu trabalho atual, a covariável de interesse é normalmente atribuída aleatoriamente, para que possamos afirmar que é independente do termo do erro. Outros regressores incluídos podem não ser, mas também não estão correlacionados com o regressor de interesse e, portanto, não afetam a estimativa de seu coeficiente.

Meu treinamento formal é em economia, onde os estudos observacionais são mais comuns. Aí apelamos ao conhecimento externo para avaliar essa suposição. Por exemplo, a regressão dos salários nos anos de estudo não estima os parâmetros de uma expectativa condicional, porque o termo de erro contém itens como motivação, que são correlacionados com os anos de estudo. Um grande esforço em economia é colocado na identificação de variações confiáveis, embora, em última análise, a credibilidade de tais análises observacionais seja discutível.