Pressupostos para derivar o estimador OLS

Alguém pode explicar brevemente para mim, por que cada uma das seis suposições é necessária para calcular o estimador de OLS? Descobri apenas sobre multicolinearidade - que, se existir, não podemos inverter a matriz (X'X) e, por sua vez, estimar o estimador geral. E os outros (por exemplo, linearidade, zero de erros médios etc.)?

least-squares assumptions Ieva
fonte

Relacionado: O que é uma lista completa das suposições usuais para regressão linear?

gung - Restabelece Monica

Você está procurando uma explicação conceitual ou precisa de uma demonstração matemática?

gung - Restabelece Monica

Mínimos quadrados comuns é um procedimento numérico, você não precisa de muita suposição para calculá- lo (além da invertibilidade). Os pressupostos são necessários para justificar a inferência baseada nele, ver a minha resposta ontem: stats.stackexchange.com/questions/148803/...

b Kjetil Halvorsen

Exatamente a quais "seis suposições" você se refere? Você menciona apenas três.

whuber

Refiro-me a 1) linearidade 2) ausência de multicolinearidade 3) erros médios nulos 4) erros esféricos (homoscedasticidade e não autocorrelação) 5) regressores não estocásticos e 6) distribuição normal. Então, como entendi pela resposta abaixo, apenas os três primeiros são necessários para derivar o estimador e outros são necessários apenas para garantir que o estimador seja AZUL?

Ieva

Respostas:

Você sempre pode calcular o estimador OLS, além do caso em que possui multicolinearidade perfeita. Nesse caso, você tem uma dependência multilinear perfeita em sua matriz X. Conseqüentemente, a suposição de classificação completa não é cumprida e você não pode calcular o estimador OLS, devido a problemas de invertibilidade.

Tecnicamente, você não precisa das outras suposições do OLS para calcular o estimador do OLS. No entanto, de acordo com o teorema de Gauss-Markov, você precisa cumprir a suposição OLS (suposições clrm) para que seu estimador seja AZUL.

Você pode encontrar uma extensa discussão sobre o teorema de Gauss-Markov e sua derivação matemática aqui:

http://economictheoryblog.com/2015/02/26/markov_theorem/

Além disso, se você estiver procurando uma visão geral da suposição de OLS, ou seja, quantas existem, o que elas exigem e o que acontece se você violar a única suposição de OLS, pode encontrar uma discussão elaborada aqui:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

Espero que ajude, felicidades!

Simon Degonda
fonte

O seguinte é baseado em seções transversais simples, para séries temporais e painéis é um pouco diferente.

Na população e, portanto, na amostra, o modelo pode ser escrito como: Essa é a suposição de linearidade, que às vezes é mal compreendida. O modelo deve ser linear nos parâmetros - a saber, a. Você é livre para fazer o que quiser com osi. Logs, quadrados etc. Se esse não for o caso, o OLS não pode ser estimado pelo modelo - você precisa de algum outro estimador não linear. $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
Uma amostra aleatória (para seções transversais) Isso é necessário para inferência e propriedades da amostra. É um tanto irrelevante para a mecânica pura do OLS.
Sem colinearidade perfeita Isso significa que não pode haver relação perfeita entre . Essa é a suposição que garante que não é singular, de modo que existe. $x_i$ $(X’X)$ $(X’X)^{-1}$
Média condicional zero: . Isso significa que você especificou corretamente o modelo de forma que: não haja variáveis omitidas e a forma funcional estimada esteja correta em relação ao modelo de população (desconhecido). Essa é sempre a suposição problemática do OLS, já que não há como saber se ele é realmente válido ou não. $E(u|X) = 0$
A variação do termo erros é constante, condicionada à toda : Novamente, isto não significa nada para a mecânica da OLS, mas garantir que os habituais erros padrão são válidos. $X_i$ $\Var(u|X)=\sigma^2$
Normalidade; o termo de erros u é independente do e segue . Novamente, isso é irrelevante para a mecânica do OLS, mas garante que a distribuição amostral do seja normal, . $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Agora, para as implicações.

Sob 1 - 6 (as premissas clássicas do modelo linear), o OLS é AZUL (melhor estimador imparcial linear), melhor no sentido de menor variância. Também é eficiente entre todos os estimadores lineares, bem como todos os estimadores que usam alguma função do x. Mais importante, de 1 a 6, o OLS também é o estimador imparcial de variância mínima. Isso significa que entre todos os estimadores imparciais (e não apenas o linear), o OLS tem a menor variação. OLS também é consistente.
Sob 1 - 5 (as suposições de Gauss-Markov), o OLS é AZUL e eficiente (como descrito acima).
Sob 1 - 4, o OLS é imparcial e consistente.

Na verdade, o OLS também é consistente, sob uma suposição mais fraca do que saber: e . A diferença das suposições 4 é que, sob essa suposição, você não precisa definir perfeitamente a relação funcional. $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

Repmat
fonte

Eu acho que você pinta uma imagem muito escura sobre a condição média zero. Se houvesse um viés, minimizar a soma dos desvios ao quadrado não seria a coisa mais apropriada a fazer, mas por outro lado, você pode capturar o viés mudando a equação de regressão (absorvendo o viés em

) e, em seguida, você não tem média 0. Em outras palavras, 4 é tanto impossível verificar e fácil de ignorar.

β_{0}

$\beta_0$

precisa saber é o seguinte

Sinto muito, mas não concordo. Ou talvez eu apenas esteja entendendo mal você? Você poderia eloborar ou dar uma referência.

Repmat

Não estou falando sobre estimativa intencionalmente distorcida (como regressão de cume), na qual acredito que o OP não estava interessado. Estou falando de um modelo da forma

em que --- por algum motivo estranho --- o residual

tem significativo

. Nesse caso, é fácil fazer uma transformação formal em

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, onde a média de

é zero.

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

User3697176

@ user3697176 O que você escreve não está correto. Acabei de publicar uma resposta para explicar o porquê.

Alecos Papadopoulos

Se a suposição 1 não for atendida, ainda não podemos usar o OLS para estimar a covariância da população (mesmo sabendo que não há relação linear)?

máximo

Um comentário em outra pergunta levantou dúvidas sobre a importância da condição , argumentando que ela pode ser corrigida pela inclusão de um termo constante na especificação de regressão e, portanto, "ela pode ser facilmente ignorada". $E(\mathbf u \mid \mathbf X) =0$

Isto não é verdade. A inclusão de um termo constante na regressão absorverá a média condicional possivelmente diferente de zero do erro, se assumirmos que essa média condicional já é uma constante e não uma função dos regressores . Esta é a suposição crucial que deve ser feita independentemente de incluirmos um termo constante ou não:

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

Se este detém, em seguida, a média diferente de zero se torna um incômodo que pode simplesmente resolver através da inclusão de um termo constante.

Mas se isso não for válido (ou seja, se a média condicional não for uma constante zero ou não nula ), a inclusão do termo constante não resolverá o problema: o que "absorverá" nesse caso é uma magnitude isso depende da amostra específica e das realizações dos regressores. Na realidade, o coeficiente desconhecido associado à série de unidades não é realmente uma constante, mas variável, dependendo dos regressores através da média condicional não constante do termo de erro.

O que isso implica? Para simplificar, assumir o caso mais simples, em que ( indexa as observações) mas que . Ou seja, que o termo de erro é de média-independente das variáveis explicativas, exceto de seus queridos contemporâneas (em nós não incluem uma série de ones). $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

Suponha que especificamos a regressão com a inclusão de um termo constante (um regressor de uma série de um).

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

e notação de compactação

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

onde , , , . $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

Então o estimador OLS será

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

Para imparcialidade , precisamos de . Mas $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

que não pode ser zero para todos os , pois examinamos o caso em que não é uma função constante. então $i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

Se , então mesmo que incluem um termo constante na regressão, os OLS estimador não vai ser imparcial , significando também que o resultado de Gauss-Markov em eficiência é perdido $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ .

Além disso, o termo de erro tem uma média diferente para cada , e também uma variação diferente (ou seja, é condicionalmente heterocedástico). Portanto, sua distribuição condicional nos regressores difere entre as observações . $\mathbf ε$ $i$ $i$

Mas isso significa que, mesmo que o termo de erro é assumida normal, então a distribuição do erro de amostragem será normal, mas não mormal de média zero, e com viés desconhecido. E a variação será diferente. então $u_i$ $\hat {\mathbf γ} - \mathbf γ$

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

Em outras palavras, as propriedades "amostra finita" desapareceram.

Ficamos apenas com a opção de recorrer a inferência assintoticamente válida , para a qual teremos que fazer suposições adicionais.

Em termos simples, a estrita exogeneidade não pode ser "facilmente ignorada" .

Alecos Papadopoulos
fonte

Não tenho muita certeza de entender isso. Não presumir que a média não seja uma função dos regressores equivalente a assumir homoscedasticidade?

Batman

@Batman A que parte do meu post você está se referindo?

Alecos Papadopoulos

Quando você diz "A inclusão de um termo constante na regressão absorverá a média condicional possivelmente diferente de zero do termo de erro se assumirmos que essa média condicional já é uma constante e não uma função dos regressores. Essa é a suposição crucial isso deve ser feito independentemente de incluirmos um termo constante ou não ". Não está assumindo que a média condicional não é uma função dos regressores exatamente o que estamos assumindo quando assumimos a homoscedasticidade?

Batman

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$

Alecos Papadopoulos