Entendendo os critérios AIC e Schwarz

Estou executando um modelo logístico. O conjunto de dados do modelo real tem mais de 100 variáveis, mas estou escolhendo um conjunto de dados de teste no qual existem cerca de 25 variáveis. Antes disso, eu também fiz um conjunto de dados com 8 a 9 variáveis. Me disseram que os valores de AIC e SC podem ser usados para comparar o modelo. Observei que o modelo apresentava valores mais altos de SC, mesmo quando a variável apresentava valores baixos de p (ex. 0053). Para minha intuição, um modelo que possui variáveis com bom nível de significância deve resultar em baixos valores de SC e AIC. Mas isso não está acontecendo. Alguém pode esclarecer isso. Em resumo, quero fazer as seguintes perguntas:

O número de variáveis tem algo a ver com o SC AIC?
Devo me concentrar nos valores de p ou em valores baixos de SC AIC?
Quais são as formas típicas de reduzir os valores do SC AIC?

model-selection logistic aic ayush biyani
fonte

Respostas:

$-2\log(\ell)+2k$ $k$ $p$

Eu sugeriria olhar para a regressão penalizada , que permite executar a seleção de variáveis para evitar problemas de sobreajuste. Isso é discutido nas Estratégias de Modelagem de Regressão de Frank Harrell (p. 207 ss.), Ou Moons et al., Estimativa de probabilidade máxima penalizada para ajustar diretamente modelos de previsão de diagnóstico e prognóstico para super-otimismo: um exemplo clínico , J Clin Epid (2004) 57 ( 12)

Veja também os pacotes Design ( lrm) e stepPlr ( step.plr) R, ou o pacote penalizado . Você pode procurar perguntas relacionadas à seleção de variáveis neste SE.

chl
fonte

Oi chl, Obrigado pela resposta .. Admito que recebi algumas informações da sua resposta .. Deixe-me colocar meu entendimento e então você pode comentar por favor. (1) Recebo uma dica de que os valores de P podem diminuir se o tamanho da sua amostra for grande ... - É mesmo? No meu entender, os valores de p só podem mostrar se a hipótese nula é ou não rejeitada. (2) Entendo agora que preciso ver diferença nos valores da AIC apenas com interceptação e covariáveis. Suponho que quando dizemos que queremos um AIC mais baixo, queremos dizer o mesmo conjunto de dados. Estou recebendo o caractere de personagem deixado no meu comentário, portanto, comente novamente quando você responder, por favor:

ayush biyani 26/10/10

@ayush (1) as estatísticas do teste (por exemplo, Wald) dependem do tamanho da amostra (o erro padrão diminui com o aumento do tamanho da amostra e é provável que você obtenha valores p mais baixos com uma amostra maior). (2) sim, embora o AIC possa ser usado para comparar modelos não aninhados, aqui eu estava pensando nele como uma maneira de comparar diferentes modelos de crescente complexidade.

chl

obrigado novamente .. eu recebo a essência do valor p agora. Cerca de 5 minutos atrás, executei um modelo que está me dando valores de p abaixo de 0,05 para todas as variáveis, exceto AIC de 28238,407 apenas com interceptação e com as covariáveis 21507,933. Também tenho um caso em que o AIC é 16035.xy somente com interceptação e com covariáveis 4234.xy. Qual é a sua opinião comparando dois casos? Observe que o segundo modelo possuía variáveis diferentes 25 var, enquanto o primeiro possuía 20. portanto, o segundo, embora tivesse mais variáveis (25 em comparação com 20), apresentava menor AIC. Embora os valores de p não fossem 0,05 para todos. Por favor, sugira ... mais para perguntar depois disso .. Obrigado.

ayush Biyani

@ayush É difícil responder sobre a qualidade do modelo sem saber como as variáveis foram selecionadas. A diferença na AIC entre um modelo que inclui apenas uma interceptação e algumas covariáveis fornece uma indicação sobre o "poder explicativo" desses preditores (o desvio residual parece diminuir em maior extensão no segundo caso que você mostrou, e a AIC penaliza pela # parâmetros como eu disse na minha resposta). Não é de forma alguma uma resposta completa sobre a relevância desses preditores. Eu sugiro que você faça uma pergunta mais específica (IMO), por exemplo, sobre seleção de variáveis nos GLMs para o seu estudo específico.

quer

Agrupar SC e AIC juntos está errado . São coisas muito diferentes, mesmo que as pessoas as usem demais. AIC é significativo quando você está prevendo coisas, usando o SC nesse cenário pode levar (nem sempre) a resultados errados. Da mesma forma, se você estiver interessado em fazer a seleção do modelo com o princípio da parcimônia (a navalha de Occam), o SC é melhor. Não quero entrar em detalhes teóricos, mas em poucas palavras: SC - bom para modelos parcimoniosos quando você deseja algo equivalente ao modelo mais simples possível para explicar seus dados, AIC - Quando você deseja prever. A AIC não assume que seu verdadeiro modelo esteja no espaço do modelo, como o SC.

Em segundo lugar, o uso de valores-p e critérios de informação juntos também pode ser enganoso, conforme explicado por chl .

suncoolsu
fonte