Suposições dos mínimos quadrados

Assuma a seguinte relação linear: $Y_i = \beta_0 + \beta_1 X_i + u_i$ , onde $Y_i$ é a variável dependente, $X_i$ uma única variável independente e $u_i$ o termo do erro.

De acordo com Stock & Watson (Introdução à Econometria; Capítulo 4 ), a terceira suposição de mínimos quadrados é que os quartos momentos de $X_i$ e $u_i$ são diferentes de zero e finitos $(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$ .

Eu tenho três perguntas:

Não compreendo completamente o papel dessa suposição. O OLS é tendencioso e inconsistente se essa suposição não se mantiver ou precisamos dessa suposição para inferência?
Stock e Watson escrevem "essa suposição limita a probabilidade de desenhar uma observação com valores extremamente grandes de $X_i$ ou $u_i$ ". No entanto, minha intuição é que essa suposição é extrema. Estamos em apuros se tivermos grandes discrepâncias (tais que os quartos momentos sejam grandes), mas se esses valores ainda forem finitos? By the way: Qual é a definição subjacente um outlier?
Podemos reformular isso da seguinte maneira: "A curtose de $X_i$ e $u_i$ é diferente de zero e finita?"

regression least-squares assumptions bias consistency solteiro
fonte

Infelizmente, não posso escrever uma resposta completa agora, mas para responder à sua pergunta: 1, a consistência do OLS funciona independentemente. 2, não existe uma definição clara de outliers, mas o OLS funciona bem em grandes amostras na presença de outliers. 3, para a minha vida, não consigo pensar em um exemplo em que isso não fosse verdade, mas alguém poderia me provar que estava errado, então não há garantias.

Repmat 31/10/16

Eu discuto "mas o OLS funciona bem em grandes amostras na presença de discrepantes" ... toma uma discrepância suficientemente grande no espaço x (isto é, uma observação influente) e um único ponto pode forçar o LS a passar por ele; se também for um outlier na direção Y, sua linha continuará nesse ponto, não importa quão extrema seja.

Glen_b -Reinstala Monica

Outliers são fáceis de definir. São observações inconsistentes com o padrão da maior parte dos dados. Como mostra o exemplo de Glen_b, esse ponto tem influência indevida no ajuste, no limite superior a todas as outras observações no conjunto de dados, levando a estimativas altamente tendenciosas.

user603

@ user603 Claro ... e daí? Ainda não encontrei um programa / script que detecte automaticamente valores discrepantes e faça isso de maneira clara, pois todos concordamos que é o caminho certo ... então, enquanto eu concordar com seus sentimentos, ele não ajuda OP

Repmat

@ Repmat: por favor, leia novamente a pergunta do OP. Meu comentário responde diretamente a uma das frases que são pontuadas por um ponto de interrogação.

user603

Respostas:

Você não precisa de suposições nos 4º momentos para consistência do estimador OLS, mas precisa de suposições em momentos mais altos de e para normalidade assintótica e para estimar consistentemente qual é a matriz de covariância assintótica. $x$ $\epsilon$

Em certo sentido, porém, esse é um ponto matemático, técnico, e não prático. Para que o OLS funcione bem em amostras finitas, em algum sentido, é necessário mais do que as suposições mínimas necessárias para obter consistência ou normalidade assintótica como . $n \rightarrow \infty$

Condições suficientes para consistência:

Se você tiver a equação de regressão:

y_{i} = x_{i}^{'} β + ϵ_{i}

$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$

O estimador OLS pode ser escrito como: $\hat{\mathbf{b}}$

\hat{b} = β + {(\frac{X^{'} X}{n})}^{- 1} (\frac{X^{'} ϵ}{n})

$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$

Por questões de consistência , você precisa aplicar a Lei dos Grandes Números de Kolmogorov ou, no caso de séries temporais com dependência serial, algo como o Teorema Ergódico de Karlin e Taylor para que:

\frac{1}{n} X^{'} X \overset{p}{\to} E [x_{i} x_{i}^{'}] \frac{1}{n} X^{'} ϵ \overset{p}{\to} E [x_{i}^{'} ϵ_{i}]

$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$

Outras premissas necessárias são:

$\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ tem classificação completa e, portanto, a matriz é invertível.
Os regressores são predeterminados ou estritamente exógenos, de modo que . $\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

Então e você recebe $\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$ $\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Se você deseja que o teorema do limite central se aplique , precisará de suposições em momentos superiores, por exemplo, onde . O teorema do limite central é o que fornece a normalidade assintótica de e permite que você fale sobre erros padrão. Para que o segundo momento exista, você precisa do quarto momento de e para existir. Você quer argumentar que em que $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $\mathbf{g_i} = \mathbf{x}_i \epsilon_i$ $\hat{\mathbf{b}}$ $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $x$ $\epsilon$ $\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$ $\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . Para que isso funcione, precisa ser finito. $\Sigma$

Uma boa discussão (que motivou este post) é apresentada na Econometria de Hayashi . (Veja também a p. 149 para o quarto momento e estimando a matriz de covariância.)

Discussão:

Esses requisitos no quarto momento provavelmente são um ponto técnico e não prático. Você provavelmente não encontrará distribuições patológicas onde isso é um problema nos dados do dia a dia? É mais comum ou outras suposições do OLS darem errado.

Uma pergunta diferente, sem dúvida respondida em outro lugar no Stackexchange, é o tamanho de uma amostra que você precisa para amostras finitas para se aproximar dos resultados assintóticos. Há um certo sentido em que discrepâncias fantásticas levam a uma convergência lenta. Por exemplo, tente estimar a média de uma distribuição lognormal com uma variação muito alta. A média da amostra é um estimador consistente e imparcial da média da população, mas nesse caso log-normal com excesso excessivo de curtose, etc.

Finito x infinito é uma distinção extremamente importante em matemática. Esse não é o problema que você encontra nas estatísticas diárias. Problemas práticos são mais na categoria pequena vs. grande. A variação, curtose, etc ... é pequena o suficiente para que eu possa obter estimativas razoáveis, considerando o tamanho da minha amostra?

Exemplo patológico em que o estimador OLS é consistente, mas não assintoticamente normal

Considerar:

y_{i} = b x_{i} + ϵ_{i}

$y_i = b x_i + \epsilon_i$ Onde mas é extraído de uma distribuição t com 2 graus de liberdade, portanto . A estimativa de OLS converge em probabilidade para mas a distribuição de amostra para a estimativa de OLS normalmente não é distribuída. Abaixo está a distribuição empírica para base em 10000 simulações de uma regressão com 10000 observações.

x_{i} \sim N (0, 1)

$x_i \sim \mathcal{N}(0,1)$

ϵ_{i}

$\epsilon_i$

V a r (ϵ_{i}) = \infty

$\mathrm{Var}(\epsilon_i) = \infty$

b

$b$

\hat{b}

$\hat{b}$

\hat{b}

$\hat{b}$

QQPlot para estimador (não converge na distribuição para normal)

A distribuição de não é normal, as caudas são muito pesadas. Mas se você aumentar os graus de liberdade para 3, para que exista o segundo momento de , o limite central se aplicará e você obterá: $\hat{b}$ $\epsilon_i$

Código para gerá-lo:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

Matthew Gunn
fonte

Boa resposta. Mas o seguinte realmente depende do contexto: você não encontrará distribuições patológicas com os 4º momentos inexistentes nos dados do dia a dia. Os dados financeiros (log-retornos sobre ativos financeiros) geralmente são tão pesados quanto não ter um quarto momento finito. Portanto, a preocupação com o quarto momento é muito real lá. (Você provavelmente poderia adicionar isso como um contra-exemplo entre parênteses à sua afirmação.) Além disso, uma pergunta: no seu exemplo, por que produz normalidade assintótica apesar de não ter um quarto momento finito?

t (3)

$t(3)$

Richard Hardy

@RichardHardy Você deseja onde . Você precisa que o quarto momento exista, e é basicamente um segundo momento em quando não está correlacionado com .

\sqrt{n} (\frac{1}{n} \sum_{i} x_{i} ϵ_{i}) \overset{d}{\to} N (0, Σ)

$\sqrt{n}\left( \frac{1}{n} \sum_i \mathbf{x}_i \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( \mathbf{0}, \Sigma \right)$

Σ = E [x_{i} x_{i}^{'} ϵ_{i}^{2}]

$\Sigma = \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2]$

Σ

$\Sigma$

Σ

$\Sigma$

ϵ_{i}

$\epsilon_i$

ϵ_{i}^{2}

$\epsilon_i^2$

x_{i} x_{i}^{'}

$\mathbf{x}_i\mathbf{x}_i'$

Matthew Gunn

Essa é uma suposição suficiente, mas não mínima [1]. O OLS não é tendencioso nessas condições, é apenas inconsistente. As propriedades assintóticas do OLS quebram quando pode ter uma influência extremamente grande e / ou se você pode obter resíduos extremamente grandes. Você pode não ter encontrado uma apresentação formal do teorema do limite central de Lindeberg Feller, mas é isso que eles estão abordando aqui com as condições do quarto momento, e a condição de Lindeberg nos diz basicamente a mesma coisa: nenhum ponto de influência excessivo, nenhuma alavancagem alta demais pontos [2] $X$
Esses fundamentos teóricos da estatística causam muita confusão quando resumidos em aplicações práticas. Não há definição de um outlier, é um conceito intuitivo. Para entendê-lo, a observação teria que ser um alto ponto de alavancagem ou alto ponto de influência, por exemplo, aquele para o qual o diagnóstico de exclusão (DF beta) é muito grande ou para o qual a distância de Mahalanobis nos preditores é grande (em estatísticas univariadas isso é apenas uma pontuação Z). Mas voltemos às questões práticas: se eu fizer uma pesquisa aleatória com as pessoas e sua renda familiar, e de 100 pessoas, 1 das pessoas que eu amostrar for milionária, meu melhor palpite é que os milionários são representativos de 1% da população . Em uma palestra bioestatística, esses princípios são discutidos e enfatizados que qualquer ferramenta de diagnóstico é essencialmente exploratória [3].não "a análise que exclui o outlier é a que eu acredito", é "remover um ponto mudou completamente minha análise".
A curtose é uma quantidade escalada que depende do segundo momento de uma distribuição, mas a suposição de variação finita e diferente de zero para esses valores é tácita, pois é impossível que essa propriedade se mantenha no quarto momento, mas não no segundo. Então, basicamente sim, mas no geral eu nunca inspecionei nem a curtose nem o quarto momento. Não acho que sejam uma medida prática ou intuitiva. Atualmente, quando um histograma ou gráfico de dispersão é produzido pelo estalar dos dedos, cabe a nós usar estatísticas qualitativas de diagnóstico gráfico, inspecionando esses gráficos.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html

AdamO
fonte

Como já foi apontado anteriormente, a intuição de alguém em relação aos valores discrepantes desmorona quando há mais de um deles. Eles não necessariamente se destacam em um gráfico beta do DF ou têm grandes escores z porque essas estatísticas podem ser influenciadas por discrepantes. Como discutimos anteriormente, os valores discrepantes , se deixados desmarcados, produzirão coeficientes tendenciosos, a menos que você os remova ou use uma técnica de estimativa robusta para eles.

user603

Penso que, de maneira mais geral, ao expressar opiniões, suas respostas ganhariam ao incluir indicadores na literatura relevante, para que o OP saiba qual dessas opiniões é amplamente aceita.

user603

@ user603 Para o seu primeiro comentário, não apontei o DFbetas (ou qualquer ferramenta de diagnóstico) como um método exclusivo para identificar discrepantes, mas certamente útil. Ao executar outliers de inferência semi-paramétrica (modelo médio correto) NÃO influencia os modelos LS, você pode produzir uma referência ou até mesmo um exemplo em qualquer caso que não seja o LS não paramétrico? Seu segundo comentário é bom, e eu levarei os próximos momentos para fornecer citações.

AdamO 1/11/16

Sua declaração "OLS não é tendenciosa nessas condições, é apenas inconsistente" não está correta. Os momentos mais altos são necessários para a normalidade assintótica. Eles não são necessários para obter consistência nas amostras do IID, onde a Lei de Grandes Números de Kolmogorov se aplica.

Matthew Gunn