Inferência no modelo linear com heterocedasticidade condicional

Suponha que eu observe vetores variáveis ​​independentes e e a variável dependente . Gostaria de ajustar um modelo do formulário: que é uma função com duas funções diferenciáveis ​​de valor positivo, é um parâmetro de escala desconhecido e é uma variável aleatória gaussiana de média variável e variação zero (assumida como independente de e ). Essa é essencialmente a configuração do teste de heterocedasticidade de Koenker (pelo menos até onde eu entendo).→ z yy= → x ⊤ → β 1 +σg( → z ⊤ → β 2 )ϵ,gσϵ → x → $\vec{x}$$\vec{z}$$y$

$$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$$ $g$$\sigma$$\epsilon$$\vec{x}$$\vec{z}$

Tenho de observações de e , e gostaria de estimar e . Eu tenho alguns problemas, no entanto:→ x , → z y → β 1 → β $n$$\vec{x}, \vec{z}$$y$$\vec{\beta_1}$$\vec{\beta_2}$

1. Não sei ao certo como colocar o problema de estimativa como algo como mínimos quadrados (presumo que exista um truque conhecido). Meu primeiro palpite seria algo como mas eu não tenho certeza de como resolver isso numericamente (talvez um método quase-Newton iterativo possa resolver). $$min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$$
2. Supondo que eu possa colocar o problema de maneira sã e encontrar algumas estimativas , eu gostaria de saber a distribuição das estimativas para que, por exemplo, eu possa realizar testes de hipótese. Eu ficaria bem em testar os dois vetores de coeficiente separadamente, mas preferiria uma maneira de testar, por exemplo , para determinado .$\hat{\beta}_1, \hat{\beta}_2$ → w 1 , → w 2 , $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$$\vec{w_1}, \vec{w_2}, c$

Em um contexto um pouco mais geral com um vetor dimensional de observações- (as respostas ou variáveis ​​dependentes), e matriz de observações- (covariáveis ​​ou variáveis ​​dependentes) e os parâmetros tais que então a probabilidade de menos log é Na pergunta do OP, é diagonal com $Y$$n$$y$$X$$n \times p$$x$$\theta = (\beta_1, \beta_2, \sigma)$$Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

$$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$$ $\Sigma(\beta_2, \sigma)$ $$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$$ para que o determinante se torne e a probabilidade menos logarítmica resultante se torna Existem várias maneiras de abordar a minimização dessa função (supondo que os três parâmetros sejam independentes de variação).$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$ $$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$$

• Você pode tentar minimizar a função usando um algoritmo de otimização padrão, lembrando a restrição que .$\sigma > 0$
• Você pode calcular o perfil com menos log-verossimilhança de minimizando over para fixo e, em seguida, conecte a função resultante a um algoritmo de otimização irrestrito padrão.$(\beta_1, \beta_2)$$\sigma$$(\beta_1, \beta_2)$
• Você pode alternar entre otimizar sobre cada um dos três parâmetros separadamente. A otimização de over pode ser feita analiticamente, otimizar over é um problema de regressão de mínimos quadrados ponderados e otimizar over é equivalente a ajustar um modelo linear generalizado gama com no link inverso.β 1 β 2 g $\sigma$$\beta_1$$\beta_2$$g^2$

A última sugestão me agrada porque se baseia em soluções que eu já conheço bem. Além disso, a primeira iteração é algo que eu consideraria fazer de qualquer maneira. Ou seja, primeiro calcule uma estimativa inicial de por mínimos quadrados comuns, ignorando a heterocedasticidade potencial, e depois ajuste um gamma glm aos resíduos quadrados para obter uma estimativa inicial de apenas para verificar se o modelo mais complicado parece valer a pena. Iterações que incorporam a heterocedasticidade na solução de mínimos quadrados, uma vez que os pesos podem melhorar a estimativa.β 2$\beta_1$$\beta_2$ $-$

Em relação à segunda parte da pergunta, eu provavelmente consideraria calcular um intervalo de confiança para a combinação linear usando os assintóticos padrão do MLE (verificando com simulações se os assintóticos funcionam) ou usando bootstrap.$w_1^T\beta_1 + w_2^T\beta_2$

Edit: Por padrão MLE assintóticos, quero dizer usando a aproximação normal multivariada para a distribuição do MLE com matriz de covariância a informação inversa de Fisher. A informação de Fisher é, por definição, a matriz de covariância do gradiente de . Depende em geral dos parâmetros. Se você puder encontrar uma expressão analítica para essa quantidade, tente conectar o MLE. Como alternativa, você pode estimar as informações de Fisher pelas informações observadas de Fisher, que é o Hessian de no MLE. Seu parâmetro de interesse é uma combinação linear dos parâmetros nos doisl β ( y i , x i , z i$l$$l$$\beta$-vetores, portanto, a partir do normal multivariado aproximado do MLE, você pode encontrar uma aproximação normal da distribuição dos estimadores, conforme descrito aqui . Isso gera um erro padrão aproximado e você pode calcular intervalos de confiança. Está bem descrito em muitos livros de estatística (matemática), mas uma apresentação razoavelmente acessível que posso recomendar é In All Likelihood, de Yudi Pawitan. De qualquer forma, a derivação formal da teoria assintótica é bastante complicada e depende de várias condições de regularidade, e fornece apenas informações assintóticas válidas.distribuições. Portanto, em caso de dúvida, eu sempre faria algumas simulações com um novo modelo para verificar se posso confiar nos resultados para parâmetros realísticos e tamanhos de amostra. Um bootstrap simples e não paramétrico, no qual são amostrados os triplos do conjunto de dados observado com substituição, pode ser uma alternativa útil se o procedimento de ajuste não consumir muito tempo.$(y_i,x_i,z_i)$