Inferência no modelo linear com heterocedasticidade condicional

9

Suponha que eu observe vetores variáveis ​​independentes e e a variável dependente . Gostaria de ajustar um modelo do formulário: que é uma função com duas funções diferenciáveis ​​de valor positivo, é um parâmetro de escala desconhecido e é uma variável aleatória gaussiana de média variável e variação zero (assumida como independente de e ). Essa é essencialmente a configuração do teste de heterocedasticidade de Koenker (pelo menos até onde eu entendo).z yy=xβ 1 +σg(zβ 2 )ϵ,gσϵx zxzy

y=xβ1+σg(zβ2)ϵ,
gσϵxz

Tenho de observações de e , e gostaria de estimar e . Eu tenho alguns problemas, no entanto:x , z y β 1β 2nx,zyβ1β2

  1. Não sei ao certo como colocar o problema de estimativa como algo como mínimos quadrados (presumo que exista um truque conhecido). Meu primeiro palpite seria algo como mas eu não tenho certeza de como resolver isso numericamente (talvez um método quase-Newton iterativo possa resolver).
    minβ1,β2(i=1n(yixiβ1)2g(ziβ2)2)(i=1n1g(ziβ2)2)1,
  2. Supondo que eu possa colocar o problema de maneira sã e encontrar algumas estimativas , eu gostaria de saber a distribuição das estimativas para que, por exemplo, eu possa realizar testes de hipótese. Eu ficaria bem em testar os dois vetores de coeficiente separadamente, mas preferiria uma maneira de testar, por exemplo , para determinado .β^1,β^2 w 1 , w 2 , cH0:w1β1+w2β2cw1,w2,c
shabbychef
fonte
Boa pergunta. Você tem uma idéia de como é o ? é suave? tem saltos? Em vez de mínimos quadrados você tem tentei máxima verossimilhança (você sabe este papel projecteuclid.org/... ?)g
robin Girard
@robin girard: O MLE é uma boa idéia para a pergunta 1. Eu suspeito que, por erros gaussianos, o MLE fornecerá estimativas idênticas às da minha minimização ad hoc . Quanto a , como observei, podemos assumir que é de valor positivo e duas vezes diferenciável. Provavelmente, podemos assumir que é convexo também, e talvez possamos assumir que é analítico. g
31511 shabbychef

Respostas:

5

Em um contexto um pouco mais geral com um vetor dimensional de observações- (as respostas ou variáveis ​​dependentes), e matriz de observações- (covariáveis ​​ou variáveis ​​dependentes) e os parâmetros tais que então a probabilidade de menos log é Na pergunta do OP, é diagonal com YnyXn×pxθ=(β1,β2,σ)YN(Xβ1,Σ(β2,σ))

l(β1,β2,σ)=12(YXβ1)TΣ(β2,σ)1(YXβ1)+12log|Σ(β2,σ)|
Σ(β2,σ)
Σ(β2,σ)ii=σ2g(ziTβ2)2
para que o determinante se torne e a probabilidade menos logarítmica resultante se torna Existem várias maneiras de abordar a minimização dessa função (supondo que os três parâmetros sejam independentes de variação).σ2ni=1ng(ziTβ2)2
12σ2i=1n(yixiTβ1)2g(ziTβ2)2+nlogσ+i=1nlogg(ziTβ2)
  • Você pode tentar minimizar a função usando um algoritmo de otimização padrão, lembrando a restrição que .σ>0
  • Você pode calcular o perfil com menos log-verossimilhança de minimizando over para fixo e, em seguida, conecte a função resultante a um algoritmo de otimização irrestrito padrão.(β1,β2)σ(β1,β2)
  • Você pode alternar entre otimizar sobre cada um dos três parâmetros separadamente. A otimização de over pode ser feita analiticamente, otimizar over é um problema de regressão de mínimos quadrados ponderados e otimizar over é equivalente a ajustar um modelo linear generalizado gama com no link inverso.β 1 β 2 g 2σβ1β2g2

A última sugestão me agrada porque se baseia em soluções que eu já conheço bem. Além disso, a primeira iteração é algo que eu consideraria fazer de qualquer maneira. Ou seja, primeiro calcule uma estimativa inicial de por mínimos quadrados comuns, ignorando a heterocedasticidade potencial, e depois ajuste um gamma glm aos resíduos quadrados para obter uma estimativa inicial de apenas para verificar se o modelo mais complicado parece valer a pena. Iterações que incorporam a heterocedasticidade na solução de mínimos quadrados, uma vez que os pesos podem melhorar a estimativa.β 2 -β1β2

Em relação à segunda parte da pergunta, eu provavelmente consideraria calcular um intervalo de confiança para a combinação linear usando os assintóticos padrão do MLE (verificando com simulações se os assintóticos funcionam) ou usando bootstrap.w1Tβ1+w2Tβ2

Edit: Por padrão MLE assintóticos, quero dizer usando a aproximação normal multivariada para a distribuição do MLE com matriz de covariância a informação inversa de Fisher. A informação de Fisher é, por definição, a matriz de covariância do gradiente de . Depende em geral dos parâmetros. Se você puder encontrar uma expressão analítica para essa quantidade, tente conectar o MLE. Como alternativa, você pode estimar as informações de Fisher pelas informações observadas de Fisher, que é o Hessian de no MLE. Seu parâmetro de interesse é uma combinação linear dos parâmetros nos doisl β ( y i , x i , z i )llβ-vetores, portanto, a partir do normal multivariado aproximado do MLE, você pode encontrar uma aproximação normal da distribuição dos estimadores, conforme descrito aqui . Isso gera um erro padrão aproximado e você pode calcular intervalos de confiança. Está bem descrito em muitos livros de estatística (matemática), mas uma apresentação razoavelmente acessível que posso recomendar é In All Likelihood, de Yudi Pawitan. De qualquer forma, a derivação formal da teoria assintótica é bastante complicada e depende de várias condições de regularidade, e fornece apenas informações assintóticas válidas.distribuições. Portanto, em caso de dúvida, eu sempre faria algumas simulações com um novo modelo para verificar se posso confiar nos resultados para parâmetros realísticos e tamanhos de amostra. Um bootstrap simples e não paramétrico, no qual são amostrados os triplos do conjunto de dados observado com substituição, pode ser uma alternativa útil se o procedimento de ajuste não consumir muito tempo.(yi,xi,zi)

NRH
fonte
quais são os assintóticos padrão do MLE?
31511 shabbychef
@shabbychef, já era tarde. Eu dei uma explicação mais detalhada. Observe que, para que os assintóticos funcionem na teoria, conforme explicado, o modelo precisa estar correto e o estimador deve ser o MLE. Resultados mais gerais podem ser obtidos no quadro de funções gerais de estimativa e equações de estimativa, veja, por exemplo, o livro Quase-probabilidade e ... de Heyde.
NRH 01/09/11