Derivação de intervalos de confiança e previsão de previsões para probit e logit (e GLMs em geral)

A derivação do intervalo de previsão para o modelo linear é bastante simples: obter uma fórmula para os limites de previsão em um modelo linear .

Como derivar os intervalos de confiança e previsão para os valores ajustados das regressões logit e probit (e GLMs em geral)?

No GLM, a previsão é uma função não linear do produto das covariáveis com vetor de coeficiente estimado : Distribuição por amostra finita de é geralmente desconhecido, mas desde que seja uma estimativa de probabilidade máxima , ela possui distribuição normal assintótica , em que é a matriz hessiana da função de probabilidade em seu máximo. Os valores p de$f$$X$$\hat{\beta}$

$$\hat{y} = f(X\hat{\beta})$$ $\hat{\beta}$$\hat{\beta}$ $\mathcal{N}(\beta, -H^{-1})$$H$$\beta$que são mostrados como resultado de uma regressão quase sempre se baseiam nesses assintóticos. Mas se você acha que sua amostra é muito pequena para assintóticos, use a distribuição numérica (por exemplo, inicialização).

Quando você usa uma distribuição normal assintótica de (e, portanto, ), a distribuição de ainda não é normal devido a não linear . Você pode ignorá-lo - obtenha limites de confiança normais para e conecte-os em , obtendo limites para como .$\hat{\beta}$$X\hat{\beta}$$\hat{y}$$f$$(z_{lower}, z_{upper})$$X\beta$$f$$y$$(y_{lower}, y_{upper}) = (f(z_{lower}), f(z_{upper}))$

Outra estratégia (chamada método delta ) é fazer uma expansão de de Taylor em torno de - será linear em . Portanto, você pode aproximar a distribuição de como $f$$X\hat{\beta}$$\hat{\beta}$$f(X\hat{\beta})$

$$f(X\hat{\beta}) \sim \mathcal{N}\left(f(X\beta), -(f^{'}(X\beta))^2 X H^{-1} X^T \right)$$

Então, o intervalo de confiança assintótico de 95% para pareceria$f(X\beta)$

$$f(X\hat{\beta}) \pm 1.96 \sqrt{(f^{'}(X\hat{\beta}))^2 X H(\hat{\beta})^{-1} X^T}$$

Agora você só precisa encontrar expressão para matrizes Hessianas para modelos específicos, como regressão logística nesta questão . E esta questão apresenta uma comparação prática de bootstrap, limites normais transformados e método delta para regressão logística.

Quando tudo mais falhar, você sempre poderá criar ICs iniciados por inicialização para qualquer estatística. Aqui está um algoritmo simples:

1. Desenhe amostras com substituição de (onde é o número de linhas em ). Você verá que cerca de dois terços das suas observações aparecerão nessa amostra.$N$$X$$N$$X$
2. Use essas amostras para ajustar um modelo
3. Use este modelo para gerar previsões para as observações em que não foram usadas no treinamento.$X$
4. Repita esse processo 100 ou mais vezes (quanto mais, melhor) para acumular uma coleção de previsões para cada observação. Esta coleção é uma aproximação à distribuição de suas previsões. Chame essas de "previsões de inicialização".
5. Construa intervalos de confiança usando quantis nas previsões. Por exemplo, para uma observação específica, calcule os quantis .025 e .975 para um intervalo de confiança de 95%.