Buscando uma compreensão teórica da regressão logística Firth

Estou tentando entender a regressão logística de Firth (método de lidar com a separação perfeita / completa ou quase-completa na regressão logística) para que eu possa explicá-la a outras pessoas em termos simplificados. Alguém tem uma explicação idiota sobre que modificação a estimativa de Firth está fazendo no MLE?

Eu li, da melhor maneira possível, Firth (1993) e entendo que uma correção está sendo aplicada à função de pontuação. Sou confuso quanto à origem e justificativa da correção e qual o papel da função de pontuação no MLE.

Desculpe se este é um conhecimento rudimentar. A literatura que revi parece exigir uma compreensão muito mais profunda do MLE do que a minha.

logistic maximum-likelihood separation ESmith5988
fonte

A correção de Firth é equivalente a especificar o prior de Jeffrey e buscar o modo de distribuição posterior. Aproximadamente, ele adiciona metade de uma observação ao conjunto de dados, assumindo que os valores reais dos parâmetros de regressão sejam iguais a zero.

$\hat \theta_n \approx \theta_0$ $\theta_0$ $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$

$o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

StasK
fonte

Desculpe pela minha falta de entendimento, mas não estou seguindo completamente. Quando você diz "Aproximadamente, ele adiciona metade de uma observação ao conjunto de dados, assumindo que os valores verdadeiros dos parâmetros de regressão sejam iguais a zero". Por que você assumiria que os valores verdadeiros dos parâmetros de regressão são iguais a zero? Além disso, como está adicionando meia observação ao conjunto de dados?

precisa saber é o seguinte

Pelo resto da sua explicação, parece que a função de probabilidade está sendo ajustada por uma quantidade fixa que reduz o viés positivo de pequenas amostras. A quantidade fixa é efetivamente uma função da informação que chega a zero à medida que o tamanho da amostra aumenta, correto?

precisa saber é o seguinte

Em seu primeiro comentário - a correção do Firth é aproximadamente o valor esperado de uma contribuição para a probabilidade que seria adicionada por uma observação que teria um peso efetivo de 1/2. Esta não é de forma alguma a explicação correta, muito menos a intuição do porquê você deseja fazer isso; apenas lhe dá o sabor. Você define os coeficientes para zero porque não tem uma idéia melhor do que serão os números (e os coeficientes zero correspondem muito bem a nenhum efeito dos regressores, o que é significativo na maioria das vezes). Em seu segundo comentário - correto.

Stask

Buscando uma compreensão teórica da regressão logística Firth

Respostas: