Regressão quantílica vs OLS para homoscedasticidade

8

Eu tenho uma pergunta sobre o coeficiente de inclinação do OLS comparado ao da Regressão Quantil, ao enfrentar termos de erro homoscedástico. O modelo de população pode se parecer com:

yi=β0+β1xi+ui

com uisendo termos de erro do iid. O coeficiente de inclinação estimado convergirá para o mesmo valor para OLS e QR para quantis diferentes? Embora a amostra calcule pode muito bem ser diferente uma da outra.β^1β1β^1

Considerando a convergência dos estimadores de QR, sei que na presença de homoscedasticidade todos os parâmetros de inclinação para diferentes regressões quantílicas convergirão para o mesmo valor (como mostrado por Koenker 2005: 12). Mas não tenho certeza de como a convergência do coeficiente OLS será comparada à do mediano QR (o LAD) do coeficiente por exemplo. Existe uma prova de que ambos irão convergir para o mesmo valor? Minha intuição me diz que esse deveria ser o caso.β1β1(0.5)

A resposta provavelmente está nas funções de perda para OLS e QR. O OLS minimiza os resíduos quadrados, enquanto o QR (para a mediana) minimiza os desvios absolutos. Portanto, à medida que os erros são elevados ao quadrado, o OLS coloca mais peso nos valores discrepantes, em oposição ao QR. Mas, no caso da homoscedasticidade, os discrepantes não deveriam se cancelar porque erros positivos são tão prováveis ​​quanto negativos, tornando o OLS e a mediana da inclinação QR coeficiente equivalente (pelo menos em termos de convergência)?

Atualização
Para testar a previsão de que, para a homocedasticidade, os coeficientes de inclinação para diferentes quantis são equivalentes, executei um teste no estado. Isso é feito apenas para confirmar o resultado de Koenker (2005) mencionado anteriormente. A pergunta original é sobre a convergência do OLS em comparação com o QR. Criei n = 2000 observações com o Stata via:

set obs 2000  
set seed 98034  
generate u = rnormal(0,8)  
generate x = runiform(0,50)
generate y = 1 + x + u

Para esta amostra, realizei uma regressão QR para os quantis (0,10, 0,50, 0,90) e depois testei a hipótese conjunta de que o coeficiente de inclinação para os três quantis é idêntico, ou seja:

H0 0:β1 1(0,1)=β1 1(0,5)=β1 1(0,9)

Este é o código stata correspondente:

sqreg y x, quantile(.1, .5, .9) reps(400)
test [q10=q50=q90]: x

A evidência foi esmagadora, o H0 não pôde ser fortemente rejeitado. Saída para o teste Wald:

F(  2,  1998) =    0.79
Prob > F =    0.4524

Isso reafirmou meus pensamentos, mas não fornece nenhuma orientação teórica sobre se isso deve sempre ser esperado.

Folhas de tartan
fonte
Estou confuso com a sua formulação do problema. As estimativas pontuais são diferentes, ponto final. No entanto, os estimadores são consistentes, portanto convergem em amostras cada vez maiores. Agora, qual o significado do seu teste de hipóteses? Você está testando se as estimativas (algumas funções dos dados da amostra ) são indistinguíveis. Mas normalmente estamos testando hipóteses sobre os parâmetros populacionais . Já sabemos tudo sobre a amostra à medida que observamos cada ponto de dados nela. Eu não entendo o que você está tentando alcançar.
Richard Hardy
11
Obrigado por suas observações, minha pergunta estava realmente sem alguma clareza. Agora acrescentei a ênfase na convergência à questão.
Tartan sai
Mas até que ponto o significado do teste de hipótese não é claro? Se os coeficientes de inclinação para QR para diferentes quantis convergirem para o mesmo valor, isso não levaria a desvios insignificantes do parâmetro de inclinação entre si? O que é confirmado pelo teste de Wald? Observe, no entanto, que na verdade isso é apenas um desvio, pois minha pergunta original seria sobre a convergência do QR em comparação com a convergência do OLS.
Tartan sai
Estou tentando dizer que sua hipótese nula não faz sentido, pelo menos para mim. Você poderia escrever explicitamente? Em relação à convergência para o mesmo valor, isso já está na minha resposta. Observe que, se dois estimadores diferentes são consistentes, eles convergem para o mesmo valor. Se eles convergissem para valores diferentes, pelo menos um deles seria inconsistente.
Richard Hardy
Eu escrevi o H0 explicitamente agora. Você tem certeza de que LAD e OLS convergirão para o mesmo valor? Você escreve na sua resposta que "você acha" que eles irão.
Tartan sai

Respostas:

5

O coeficiente de inclinação estimado β1 1 sempre é o mesmo para OLS e QR para diferentes quantis?

Não, claro que não, porque a função de perda empírica minimizada difere nesses casos diferentes (OLS vs. QR para diferentes quantis).

Estou bem ciente de que, na presença de homoscedasticidade, todos os parâmetros de inclinação para diferentes regressões quantílicas serão os mesmos e que os modelos QR diferirão apenas na interceptação.

Não, não em amostras finitas. Aqui está um exemplo retirado dos arquivos de ajuda do pacote "quantreg" no R:

library(quantreg)
data(stackloss)
rq(stack.loss ~ stack.x,tau=0.50) #median (l1) regression fit for the stackloss data.
rq(stack.loss ~ stack.x,tau=0.25) #the 1st quartile

No entanto, assintoticamente todos eles convergirão para o mesmo valor verdadeiro.

Mas, no caso da homoscedasticidade, os discrepantes não deveriam se cancelar porque erros positivos são tão prováveis ​​quanto negativos, tornando o OLS e a mediana da inclinação QR coeficientes equivalentes?

Não. Primeiro, a simetria perfeita dos erros não é garantida em nenhuma amostra finita. Segundo, minimizar a soma dos quadrados versus valores absolutos geralmente leva a valores diferentes, mesmo para erros simétricos.

Richard Hardy
fonte
Eu recebo do seu comentário a importância de distinguir entre convergência e propriedades de amostra finita. No entanto, em relação à 2ª parte da sua resposta, existem duas coisas que não estão claras para mim. Primeiro, tenho certeza de que os parâmetros de inclinação para diferentes regressões quantílicas sob homocedasticidade devem ser realmente iguais. Tomo essa certeza de Koenker (2005: 12), que observa exatamente o mesmo modelo que apresentei: "funções quantis são simplesmente um deslocamento vertical umas das outras eβ^(τ) estima os parâmetros populacionais (β0 0+F-1 1(τ),β1 1). "
Tartan sai
Segundo, em relação à equivalência dos coeficientes QR e OLS. Você diz que OLS e LAD convergirão assintoticamente para o mesmo valor verdadeiro, considerando que temos homoscedasticidade? Assim, em amostras finitas, os 2 podem não ser equivalentes, mas para tamanhos de amostras convergentes para o infinito, os 2 são realmente equivalentes, novamente sob a presunção de homoscedasticidade?
Tartan sai
@TartanLeaves, sobre o comentário nº 1: tente estimar duas regressões quantílicas no mesmo conjunto de dados, mas para quantis diferentes, e você verá por si mesmo que as estimativas resultantes são diferentes. Isso é fácil de fazer. Em relação ao comentário 2: Sim. Em outras palavras, ambos são consistentes, mas diferem em amostras finitas.
Richard Hardy
@TartanLeaves, editei minha resposta para incluir um exemplo.
Richard Hardy
Editei minha pergunta original para incluir um resultado estatístico. Na verdade, eu fiz esse experimento ontem já.
Tartan sai
1

Geralmente a resposta é sim, pelo menos para a regressão de Theil, que é um caso especial de QR. O estimador de inclinação para a regressão de Theil é um estimador imparcial da inclinação da população. Se todos os requisitos para o OLS forem atendidos, ele terá 85% de eficiência relativa. Há certas circunstâncias em que se torna mais eficiente do que o mínimo de quadrados em uma base relativa.

Além disso, se você não estiver sentado com uma quantidade infinita de dados, mas tiver uma amostra pequena, há muitos lugares onde seria preferível. A inclinação e o truncamento, ao não permitir valores negativos, podem ter um forte impacto no OLS e pouco ou nenhum no método de Theil.

Dave Harris
fonte
Como é definida a eficiência relativa? Como a razão de variâncias assintóticas dos estimadores? Isso não depende da distribuição de erros (nada nos "requisitos para OLS" especifica uma distribuição de erros)? (Por exemplo, a eficiência relativa do QR para o OLS depende da distribuição do erro.) Além disso, a regressão de Theil é realmente um caso especial do QR? (Você teria uma referência?)
Richard Hardy
Acabei de me mudar e enterrar em algum lugar. Tenho artigos originais de Theil e Pranab Sen. Também tenho livros didáticos não paramétricos e de distribuição gratuitos enterrados em caixas. Theil escreveu quatro artigos que foram combinados em dois super-artigos que faziam parte dos procedimentos da conferência, se a memória me servir, na Royal Academy of Sciences na Dinamarca ou na Holanda. Na verdade, ele também não apresentou, alguém apresentou para ele como ele tinha que estar ausente. Pranab Sen está escrevendo geralmente sobre estimadores baseados em mediana. Acredito que Theil seja em 1950 e Sen seja em 1968. Ele esteve na JASA ou na Econometrica.
Dave Harris
Como é um caso limitante de regressão quantílica, vem de um livro vermelho que tenho sobre métodos livres de distribuição. Tem gráficos em branco na capa. Não é trabalho de Kendall. Pode ser por Sprent. No caso dos 85%, assume perfeita normalidade. Isso é do senador. As distribuições diferentes acabam com diferentes eficiências relativas. Eu acredito que é a razão das variações assintóticas.
Dave Harris
Desculpe, tenho uma memória estranha para as coisas. Posso dizer até um dos outros métodos não paramétricos cobertos pelo Sen, mas não o outro. Não posso dizer em que caixa do meu porão ainda está para ser aberta. Lembro-me das capas de álbuns, mas não dos nomes das bandas ou músicas. Ou eu lembro das letras, mas não consigo lembrar quem cantou a música. Quando minhas caixas forem descompactadas, tentarei me lembrar de voltar a esta postagem e atualizá-la. Lembro-me da imagem do JSTOR para o artigo de Sen na primeira página, mas não dos dois de Theil, que podem não ter vindo do JSTOR.
Dave Harris
11
Obrigado pela sua resposta, @ user25459! Como Richard Hardy observou antes, também não tenho certeza de até que ponto a regressão de Theil - acho que você está se referindo à 'mediana das inclinações pareadas' - seria considerada um caso especial de QR, como você diz. Eu nunca tinha ouvido falar disso antes e na monografia de Koenker (2005) "Regressão Quantil" é mencionada apenas em uma frase.
Tartan sai