Eu não estou tão familiarizado com esta literatura, então, por favor, perdoe-me se essa é uma pergunta óbvia.
Como o AIC e o BIC dependem da maximização da probabilidade, parece que eles só podem ser usados para fazer comparações relativas entre um conjunto de modelos que tentam ajustar um determinado conjunto de dados. De acordo com meu entendimento, não faria sentido calcular o AIC para o Modelo A no conjunto de dados 1, calcular o AIC para o Modelo B no conjunto de dados 2 e comparar os dois valores do AIC e julgar que (por exemplo) O modelo A se encaixa no conjunto de dados 1 melhor do que o modelo B se encaixa no conjunto de dados 2. Ou talvez eu esteja enganado e isso é uma coisa razoável a se fazer. Por favor deixe-me saber.
Minha pergunta é a seguinte: existe uma estatística de ajuste de modelo que pode ser usada para comparações absolutas em vez de apenas relativas? Para modelos lineares, algo como funcionaria; possui um alcance definido e disciplina idéias específicas sobre o que é um valor "bom". Estou procurando algo mais geral e achei que poderia começar fazendo ping nos especialistas aqui. Tenho certeza de que alguém já pensou nesse tipo de coisa antes, mas não conheço os termos certos para fazer uma pesquisa produtiva no Google Scholar.
Qualquer ajuda seria apreciada.
fonte
Respostas:
De acordo com o que a Macro sugeriu, acho que o termo que você procura é uma medida de desempenho. Embora não seja uma maneira segura de avaliar o poder preditivo, é uma maneira muito útil de comparar a qualidade de ajuste de vários modelos.
Um exemplo de medida seria o erro médio da porcentagem média, mas é possível encontrar mais facilmente.
Suponha que você use SetA com modelA para descrever o número de buracos em uma estrada e use SetB e modelB para descrever o número de pessoas em um país; então, é claro que você não pode dizer que um modelo é melhor que o outro, mas você pode pelo menos, veja qual modelo fornece uma descrição mais precisa.
fonte
Existem alguns artigos novos explorando exatamente o que você está procurando, eu acho; Nakagawa e Schielzeth (2013) apresentam uma estatística R² para modelos de efeitos mistos denominada "R2 GLMM" para definir a quantidade de variação inexplicada em um modelo.
R²GLMM condicional é interpretado como variação explicada por fatores fixos e aleatórios;
A margem R²GLMM representa a variação explicada por fatores fixos.
Em 2014, Johnson atualizou a equação para dar conta dos modelos de declives aleatórios.
Felizmente, você pode calcular facilmente o R²GLMM marginal e condicional usando o pacote "MuMIn" em R ( Barton, 2015 ).
fonte