Como detectar quando um modelo de regressão está em excesso?

14

Quando você é quem faz o trabalho, tendo consciência do que está fazendo, desenvolve uma sensação de quando superajustou o modelo. Por um lado, você pode acompanhar a tendência ou deterioração no quadrado R ajustado do modelo. Também é possível rastrear uma deterioração semelhante nos valores de p dos coeficientes de regressão das principais variáveis.

Porém, quando você acabou de ler o estudo de outra pessoa e não tem conhecimento do processo de desenvolvimento de seu modelo interno, como pode detectar claramente se um modelo está em excesso ou não.

Sympa
fonte
Apenas para lançar algumas idéias sobre o assunto, se o estudo divulgar estatísticas de regressão padrão, você poderá se concentrar nas estatísticas t e nos valores de p dos coeficientes. Se o RSquare do modelo for alto; mas, uma ou mais das variáveis ​​têm stat <2,0; isso pode ser uma bandeira vermelha. Além disso, se o sinal dos coeficientes em algumas das variáveis ​​desafiar a lógica, isso provavelmente é outra bandeira vermelha. Se o estudo não divulgar um período de espera para o modelo, isso pode ser outra bandeira vermelha. Felizmente, você terá outras e melhores idéias.
Sympa
Uma maneira é ver o desempenho do modelo em outros dados (mas semelhantes).
Shane

Respostas:

15

A validação cruzada e a regularização são técnicas bastante comuns para evitar o ajuste excessivo. Para uma rápida análise, eu recomendaria os slides do tutorial de Andrew Moore sobre o uso da validação cruzada ( espelho ) - preste atenção especial às advertências. Para mais detalhes, leia definitivamente os capítulos 3 e 7 da EOSL , que cobrem o tópico e o assunto associado em profundidade.

ars
fonte
2
Uau, obrigado O tutorial de Andrew Moore sobre validação cruzada é de classe mundial.
Sympa
7

Quando estou ajustando um modelo, geralmente uso critérios de informação durante o processo de ajuste, como AIC ou BIC , ou alternativamente testes de razão de verossimilhança para modelos ajustados com base na máxima probabilidade ou teste F para modelos ajustados com base em mínimos quadrados.

Todos são conceitualmente similares, pois penalizam parâmetros adicionais. Eles estabelecem um limite de "poder explicativo adicional" para cada novo parâmetro adicionado a um modelo. Eles são todos uma forma de regularização .

Para os modelos de outros, olho para a seção de métodos para ver se essas técnicas são usadas e também usamos regras práticas, como o número de observações por parâmetro - se existem cerca de 5 (ou menos) observações por parâmetro, começo a me perguntar.

Lembre-se sempre de que uma variável não precisa ser "significativa" em um modelo para ser importante. Posso ser um fator de confusão e deve ser incluído nessa base se seu objetivo é estimar o efeito de outras variáveis.

Thylacoleo
fonte
Obrigado pelos links para os testes AIC e BIC. Eles agregam muito valor versus o quadrado R ajustado que faz algo semelhante ao penalizar os modelos por adicionar variáveis?
Sympa
1
@ Gaeten, o R-quadrado ajustado aumentará quando um teste F do modelo antes vs depois for significativo, então eles são equivalentes, exceto normalmente o cálculo de um R-quadrado ajustado não retornar um valor-p.
Thylacoleo
1
@ Gaeten - AIC e BIC são mais gerais que os testes F e R-quadrado ajustado, que geralmente são limitados a modelos ajustados por mínimos quadrados. AIC e BIC podem ser usados ​​para qualquer modelo em que a probabilidade possa ser calculada e os graus de liberdade possam ser conhecidos (ou estimados).
Thylacoleo
Testar um conjunto de variáveis ​​não é uma forma de regularização (retração). E o teste dá a tentação de remover variáveis, o que não tem nada a ver com a redução do excesso de ajustes.
26711 Frank Harrell
@FrankHarrell Você pode elaborar esse seu antigo comentário? Parece-me que remover uma variável reduziria o sobreajuste, todas as outras coisas sendo iguais, uma vez que os graus de liberdade disponíveis para o excesso de ajuste são reduzidos. Tenho certeza de que estou perdendo alguma nuance aqui.
Lepidopterist
5

Eu sugeriria que esse é um problema de como os resultados são relatados. Não "bater o tambor bayesiano", mas abordar a incerteza do modelo de uma perspectiva bayesiana como um problema de inferência ajudaria muito aqui. E não precisa ser uma grande mudança também. Se o relatório contivesse apenas a probabilidade de o modelo ser verdadeiro, isso seria muito útil. Essa é uma quantidade fácil de aproximar usando o BIC. Ligue para o BIC para o mésimo modelo . Então, a probabilidade de que o modelo m seja o modelo "verdadeiro", considerando que os modelos M eram adequados (e que um dos modelos é verdadeiro) é dada por:BICmM

=1

P(model m is true|one of the M models is true)wmexp(12BICm)j=1Mwjexp(12BICj)
=11+jmMwjwmexp(12(BICjBICm))

Onde é proporcional à probabilidade anterior para o j-ésimo modelo. Observe que isso inclui uma "penalidade" para tentar vários modelos - e a penalidade depende de quão bem os outros modelos se ajustam aos dados. Normalmente, você irá definir w j = 1 , no entanto, você pode ter alguns modelos "teóricos" dentro de sua classe que seria de esperar para ser melhor antes de ver quaisquer dados.wjwj=1

BICfinal<BICjpd

M1+p+(p1)++(pd+1)=1+p(p1)(pd)(pd1)2

M1+p+(p1)++(d+1)=1+p(p1)d(d1)2

MBICjλBICm=BICjλ

11+(M1)exp(λ2)

λMM

11+p(p1)d(d1)2exp(λ2)

p=50d=20λP0

λ>2log(2(1P0)P0[p(p1)d(d1)])

P0=0.9λ>18.28

probabilityislogic
fonte
+1, isso é realmente inteligente. Isso é publicado em algum lugar? Existe uma referência 'oficial' para isso?
gung - Restabelece Monica
@ gung - por que obrigado. Infelizmente, essa foi uma resposta "do verso do envelope". Tenho certeza de que há problemas, se você investigar com mais detalhes.
probabilityislogic