Seleção de modelos com regressão logística Firth

21

Em um pequeno conjunto de dados ( ) com o qual estou trabalhando, várias variáveis ​​me proporcionam uma perfeita previsão / separação . Assim, uso a regressão logística Firth para lidar com o problema.n∼100

Se eu selecionar o melhor modelo por AIC ou BIC , devo incluir o termo de penalidade de Firth na probabilidade ao calcular esses critérios de informação?

logistic model-selection aic separation StasK
fonte
2
Você se importaria de explicar por que isso é inevitável, uma vez que a seleção de variáveis ​​não ajuda no problema de "muitas variáveis, muito pouco tamanho de amostra"?
Frank Harrell
4
Isso é tão ruim quanto parece.
Frank Harrell
1
Você já pensou em tratar isso como um problema de inferência bayesiana? A regressão logística do parto é equivalente ao MAP com jeffreys anteriores. Você pode usar o totalmente Laplace aproximação evalute probabilidades marginais - que é como um BIC ajustado (semelhante ao AICc)
probabilityislogic
1
@user, Como essas variáveis ​​costumam prever apenas alguns casos, e isso é improdutível: a verdadeira probabilidade dessa célula pode estar perto de 90%, mas com apenas dois casos, você terá dois casos 81% das vezes .
StasK
1
Link para o download K & K (1996) papel encontrado no Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf
Alecos Papadopoulos

Respostas:

1

n→∞

py(y)=∫eu(θ;y)π(θ)dθ
θ^

Como observação lateral, a regressão de Firth também remove o viés de primeira ordem nas famílias exponenciais.

lbelzile
fonte