A suposição de linearidade na regressão linear é apenas uma definição de

Estou revisando a regressão linear.

O livro de Greene declara:

Agora, é claro que haverá outras suposições no modelo de regressão linear, como $E(\epsilon|X)=0$ . Essa suposição combinada com a suposição de linearidade (que na verdade define $\epsilon$ ) coloca a estrutura no modelo.

No entanto, a suposição de linearidade por si só não coloca nenhuma estrutura em nosso modelo, pois $\epsilon$ pode ser completamente arbitrário. Para quaisquer variáveis $X, y$ , qualquer que seja a relação entre as duas, poderíamos definir um $\epsilon$ tal que a suposição de linearidade seja válida. Portanto, a linearidade "suposição" deve realmente ser chamado de uma definição de $\epsilon$ , ao invés de uma suposição.

Portanto, eu estou pensando :

Greene está sendo desleixado? Ele deveria realmente ter escrito: ? Esta é uma "suposição de linearidade" que realmente estrutura o modelo. $E(y|X)=X\beta$
Ou devo aceitar que a suposição de linearidade não coloca estrutura no modelo, mas apenas define um , onde as outras suposições usarão essa definição de para colocar a estrutura no modelo? $\epsilon$ $\epsilon$

Edit : desde que parece haver alguma confusão em torno das outras suposições, deixe-me adicionar o conjunto completo de suposições aqui:

Isto é de Greene, Econometric Analysis, 7ª ed. p. 16

econometrics linear-model assumptions causality definition user56834
fonte

Estas são observações perceptivas (+1). Com toda a justiça, porém, acredito que a maioria dos autores (se não todos) trabalha dentro de uma estrutura na qual o próprio significado de um erro aditivo como

inclui a suposição de que sua distribuição está centrada em

ϵ

$\epsilon$

0

$0$

whuber

@ Whuber, eu adicionei todo o conjunto de suposições. olhe para A3. A3 deixa explícito que está centrado em 0, o que implicaria que Greene não assume isso em A1, o que me deixa em dúvida se A1 tem algum conteúdo lógico, além de definir

ϵ

$\epsilon$

user56834

O significado pretendido de uma lista de suposições é que elas são coletivas, não separadamente. Isso não exibe nenhuma "negligência".

whuber

@ AdamO, a palavra "correto" parece não ter um significado preciso para mim. Estou tentando entender mais exatamente isso. Parece-me que a formulação mais precisa de tudo isso é dizer que a suposição 1 deve ser chamada de "definição de

", e então tudo faz sentido. Ou, na verdade, estou sentindo falta de algo, e é por isso que fiz essa pergunta. Infelizmente, até agora eu não vi uma resposta direta a essa pergunta

ϵ

$\epsilon$

user56834

@ Programmer2134 você está recebendo respostas imprecisas porque está fazendo uma pergunta imprecisa. Não se "estrutura a estrutura de um modelo", como você diz. Se o modelo médio errado (

) for usado, a resposta será caracterizada como

. e os resíduos são tomados como a soma do viés e do erro.

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

AdamO 2/0118

Respostas:

Greene está sendo desleixado? Ele deveria realmente ter escrito: ? Esta é uma "suposição de linearidade" que realmente estrutura o modelo. $E(y|X)=X\beta$

Em certo sentido, sim e não. Por um lado, sim, dada a atual pesquisa moderna sobre causalidade, ele é desleixado, mas, assim como a maioria dos livros didáticos de econometria, no sentido de que eles não fazem uma distinção clara de quantidades causais e observacionais, levando a confusões comuns como essa mesma pergunta. Mas, por outro lado, não, essa suposição não é desleixada no sentido de que é realmente diferente de simplesmente assumir . $E(y|X)=X\beta$

O cerne da questão aqui é a diferença entre a expectativa condicional e a equação estrutural (causal) de , bem como sua expectativa estrutural (causal) $E(y|X)$ $y$ $E[Y|do(X)]$ . A suposição de linearidade em Greene é uma suposição estrutural . Vamos ver um exemplo simples. Imagine que a equação estrutural é:

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

Agora vamos . Então teríamos: $E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

onde . Além disso, podemos escrever e teríamos . Isso mostra que podemos ter uma expectativa condicional linear especificada corretamente que, por definição, terá um distúrbio ortogonal, mas a equação estrutural seria não-linear. $\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ $E[\epsilon'|x] = 0$ $E[y|x]$

$\epsilon$ $\epsilon$

$\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ $y$ $X$ $\epsilon$ $E[Y|do(X)]$ $E[Y|X]$

$\epsilon$ $X, y$ $\epsilon$

$y$ $x$ $\epsilon$ $\beta$

Nota

Vale ressaltar que a maioria dos livros de econometria é confusa quando se trata da distinção entre regressão e equações estruturais e seu significado. Isso foi documentado recentemente. Você pode conferir um artigo de Chen e Pearl aqui , bem como uma pesquisa extensa de Chris Auld . Greene é um dos livros examinados.

Carlos Cinelli
fonte

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$

ϵ

$\epsilon$

X

$X$

@ Programmer2134, a propósito, suas preocupações estão no caminho certo, acho que o Primer de Pearl sobre inferência causal pode ser um companheiro interessante para o de Greene!

Carlos Cinelli

Aliás, comecei a ler "Causalidade: Modelos, Raciocínio e Inferência", de Pearl, há um tempo atrás. Eu pensei que era muito interessante, mas foi um pouco abstrato para mim. Não fui além do capítulo 2. Você acha que "cartilha sobre inferência causal" será mais adequada? (ou seja, introduza conceitos de maneira mais intuitiva).

User56834

E (Y | x)

$E(Y|x)$

editado após comentários de OP e Matthew Drury

Para responder a essa pergunta, suponho que Greene e OP tenham em mente a seguinte definição de linearidade: Linearidade significa que, para cada unidade de aumento nesse preditor, o resultado é aumentado em beta ( ), em qualquer faixa possível de valores preditores esse aumento de uma unidade ocorre. Ou seja, a função é e não por exemplo ou . Além disso, essa suposição é focada nos betas e, portanto, aplica-se aos preditores (também conhecidas como variáveis independentes). $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$

A expectativa de resíduos condicionais no modelo é outra coisa. Sim, é verdade que a matemática por trás de uma regressão linear define / tenta definir . No entanto, isso geralmente é definido em toda a faixa de valores ajustados / previstos para . Se você observar partes específicas do preditor linear e o valor previsto de , poderá notar heterocedasticidade (áreas em que a variação de é maior que em outros lugares) ou áreas em que . Uma associação não linear entre os 's e pode ser a causa disso, mas não é a única razão pela qual a heterocedasticidade ou $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ $E(ϵ|X)≠0$ $x$ $y$ $E(ϵ|X)≠0$ pode ocorrer (veja, por exemplo, falta de viés do preditor).

Pelos comentários: OP afirma que "a suposição de linearidade não restringe o modelo de forma alguma, dado que o epsilon é arbitrário e pode ser qualquer função de XX qualquer", com o que eu concordaria. Eu acho que isso fica claro pelas regressões lineares capazes de se ajustarem a qualquer dado, independentemente de a suposição de linearidade ser violada ou não. Estou especulando aqui, mas essa pode ser a razão pela qual Greene optou por manter o erro na fórmula - salvando para mais tarde - para denotar que, ao assumir linearidade, (e não o esperado) ) pode ser definido com base em mas mantém algum erro , independentemente de quais valores $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ $ϵ$ leva. Só posso esperar que ele posteriormente declare a relevância de . $E(ϵ|X)=0$

Em resumo (sem dúvida, sem ler completamente o livro de Greene e verificar sua argumentação):

Greene provavelmente se refere ao fato de os betas serem constantes para todo o intervalo do preditor (a ênfase deve ser colocada no beta nas equações ou ; $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$
A suposição de linearidade coloca alguma estrutura no modelo. No entanto, você deve observar que transformações ou adições, como splines antes da modelagem, podem fazer com que associações não lineares estejam em conformidade com a estrutura de regressão linear.

IWS
fonte

Isso é útil, mas o apelo à continuidade não é necessário em nenhum sentido. A maquinaria funciona da mesma maneira se for baseado apenas em preditores.

X

$X$

(0, 1)

$(0, 1)$

Nick Cox

Você escreveu mas acho que você quis dizer ,.

f (y)

$f(y)$

f (x)

$f(x)$

Nick Cox

@NickCox Eu editei esses pontos.

IWS

O que você quer dizer com normalidade? Se você quer dizer normalidade, está incorreto porque o epsilon não precisa ser normal para que ele tenha uma expectativa condicional de zero. Mas você quer dizer outra coisa? Além disso, sim beta é considerado constante para todas as observações. E o que você acha errado com meu argumento de que a suposição de linearidade não restringe o modelo de forma alguma, dado que o epsilon é arbitrário e pode ser qualquer função de ? Note que eu sei o que é heterocedasticidade e que linearidade significa linear em parâmetros, não em variáveis.

X

$X$

user56834

Eu discordo disso. A suposição de expectativa não tem relação com a normalidade, mas é absolutamente necessária para entender a suposição de linearidade estrutural. Caso contrário, como observado pelo op, a suposição de linearidade não tem sentido. Uma suposição de normalidade é uma fera bem diferente e muitas vezes é desnecessária.

Matthew Drury

-1

Fiquei um pouco confuso com a resposta acima, portanto, darei outra chance. Penso que a questão não é realmente sobre regressão linear "clássica", mas sobre o estilo dessa fonte em particular. Na parte de regressão clássica:

No entanto, a suposição de linearidade por si só não coloca nenhuma estrutura em nosso modelo

Isso é absolutamente correto. Como você afirmou, pode muito bem eliminar a relação linear e adicionar algo completamente independente de para que não possamos computar nenhum modelo. $\epsilon$ $X$

Greene está sendo desleixado? Ele deveria realmente ter escrito: $E(y|X)=Xβ$

Não quero responder à primeira pergunta, mas deixe-me resumir as suposições necessárias para a regressão linear usual:

Vamos supor que você observe (você recebe) pontos de dados e para . Você precisa assumir que os dados observados são provenientes de variáveis aleatórias independentemente distribuídas de forma idêntica , de forma que ... $x_i \in \mathbb{R}^d$ $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

Existe um fixo (independente de ) tal que para todo e as variáveis aleatórias são tais que $i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
O é iid e é distribuído como ( deve ser independente de ) $\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
Para e as variáveis têm uma densidade comum, ou seja, a única variável aleatória possui uma densidade $X = (X_1, ..., X_n)$ $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

Agora você pode executar o caminho usual e calcular

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

de modo que, pela "dualidade" usual entre aprendizado de máquina (minimização de funções de erro) e teoria das probabilidades (maximização de probabilidades), você maximiza em que de fato lhe fornece o material "RMSE" usual. $-\log f_{Y|X}(y|x)$ $\beta$

Agora, como afirmado: se o autor do livro que você está citando deseja expressar esse argumento (o que você deve fazer se quiser calcular a melhor linha de regressão possível na configuração básica), então sim, ele deve faça essa suposição sobre a normalidade do em algum lugar do livro. $\epsilon$

Existem diferentes possibilidades agora:

Ele não escreve essa suposição no livro. Então é um erro no livro.
Ele a escreve na forma de uma observação "global" como "sempre que eu escrevo então os são normalmente distribuídos com média zero, a menos que seja indicado de outra forma". Então IMHO é um estilo ruim, porque causa exatamente a confusão que você sente agora. É por isso que costumo escrever as suposições de alguma forma abreviada em todos os Teoremas. Somente então todos os blocos de construção podem ser visualizados de maneira limpa. $+ \epsilon$ $\epsilon$
- Ele escreve de perto a parte que você está citando e você / nós simplesmente não percebemos (também é uma possibilidade :-))

No entanto, também em um sentido matemático estrito, o erro normal é algo canônico (a distribuição com a maior entropia [uma vez que a variação é fixa], portanto, produzindo os modelos mais fortes), de modo que alguns autores tendem a ignorar essa suposição, mas usam, no entanto, . Formalmente, você está absolutamente certo: eles estão usando a matemática da "maneira errada". Sempre que eles quiserem criar a equação para a densidade conforme declarado acima, eles precisam conhecer muito bem; caso contrário, você só tem propriedades dele voando em todas as equações sensatas que você tenta escrever . $f_{Y|X}$ $\epsilon$

Fabian Werner
fonte

os erros não precisam ser normalmente distribuídos para usar o OLS.

user56834

(-1) Os erros não precisam ser normalmente distribuídos. Na verdade, eles nem precisam ser independentes ou distribuídos de forma idêntica para que a estimativa de parâmetros seja imparcial e que os testes sejam consistentes. Suas especificações muito mais rigorosas são necessárias para que o OLS seja um teste exato.

AdamO

@AdamO: Ah? Então, como você calcula a probabilidade então? Ou melhor ... se você for solicitado a implementar a regressão linear: qual linha de regressão você seleciona se o erro não for normalmente distribuído e o único não for independente?

ϵ_{i}

$\epsilon_i$

Fabian Werner

@FabianWerner minha escolha de modelo depende da pergunta que deve ser feita. A regressão linear estima uma tendência de primeira ordem em um conjunto de dados, uma "regra prática" que relaciona uma diferença em X com uma diferença em Y. Se os erros não são normalmente distribuídos, o Lindeberg Feller CLT garante que os ICs e PIs estejam aproximadamente corretos em amostras muito pequenas. Se os erros não forem independentes (e a estrutura de dependência for desconhecida), as estimativas não serão tendenciosas, embora os SEs possam estar incorretos. A estimativa de erro sanduíche alivia esse problema.

Adamo