Testando a diferença na AIC de dois modelos não aninhados

O ponto principal da AIC ou de qualquer outro critério de informação é que menos é melhor. Portanto, se eu tiver dois modelos M1: y = a0 + XA + e e M2: y = b0 + ZB + u, e se o AIC do primeiro (A1) for menor que o do segundo (A2), então M1 terá um melhor ajuste do ponto de vista da teoria da informação. Mas existe algum ponto de referência para a diferença A1-A2? Quanto menos é realmente menos? Em outras palavras, existe um teste para (A1-A2) além de apenas observar os olhos?

Edit: Peter / Dmitrij ... Obrigado por responder. Na verdade, esse é um caso em que meus conhecimentos substantivos estão em conflito com meus conhecimentos estatísticos. Essencialmente, o problema NÃO é escolher entre dois modelos, mas verificar se duas variáveis ​​que eu sei serem em grande parte equivalentes adicionam quantidades equivalentes de informações (na verdade, uma variável no primeiro modelo e um vetor no segundo. Pense no caso de um monte de variáveis ​​em comparação com um índice delas.). Como Dmitrij apontou, a melhor aposta parece ser o teste de Cox. Mas existe uma maneira de realmente testar a diferença entre o conteúdo das informações dos dois modelos?

É a questão da curiosidade, ou seja, você não está satisfeito com a minha resposta aqui ? Se não...

A investigação adicional dessa questão complicada mostrou que existe uma regra , que afirma que dois modelos são indistinguíveis pelo critério da se a diferença . O mesmo que você realmente lerá no artigo da wikipedia sobre (observe que o link é clicável!). Apenas para quem não clica nos links:$AIC$$|AIC_1 - AIC_2| < 2$$AIC$

$AIC$ estima o apoio relativo a um modelo. Para aplicar isso na prática, começamos com um conjunto de modelos candidatos e, em seguida, localizamos os valores correspondentes dos modelos . Em seguida, identifique o valor mínimo da . A seleção de um modelo pode ser feita da seguinte maneira.$AIC$$AIC$

Como regra geral, os modelos com suas$AIC$ dentro de$1–2$ of the minimum have substantial support and should receive consideration in making inferences. Models having their $AIC$ within about $4–7$ of the minimum have considerably less support, while models with their $AIC > 10$ above the minimum have either essentially no support and might be omitted from further consideration or at least fail to explain some substantial structural variation in the data.

A more general approach is as follows...

Denote the $AIC$ values of the candidate models by $AIC1$, $AIC2, AIC3, \ldots, AICR$. Let $AICmin$ denotes the minimum of those values. Then $e^{(AICmin−AICi)/2}$ can be interpreted as the relative probability that the $i$-th model minimizes the (expected estimated) information loss.

As an example, suppose that there were three models in the candidate set, with $AIC$ values $100$, $102$, and $110$. Then the second model is $e^{(100−102)/2} = 0.368$ times as probable as the first model to minimize the information loss, and the third model is $e^{(100−110)/2} = 0.007$ times as probable as the first model to minimize the information loss. In this case, we might omit the third model from further consideration and take a weighted average of the first two models, with weights $1$ and $0.368$, respectively. Statistical inference would then be based on the weighted multimodel.

Nice explanation and useful suggestions, in my opinion. Just don't be afraid of reading what is clickable!

In addition, note once more, $AIC$ is less preferable for large-scale data sets. In addition to $BIC$ you may find useful to apply bias-corrected version of $AIC$ criterion $AICc$ (you may use this R code or use the formula $AICc = AIC + \frac{2p(p+1)}{n-p-1}$, where $p$ is the number of estimated parameters). Rule-of-thumb will be the same though.

Eu acho que isso pode ser uma tentativa de conseguir o que você realmente não quer.

A seleção de modelos não é uma ciência. Exceto em raras circunstâncias, não existe um modelo perfeito, nem mesmo um modelo "verdadeiro"; raramente existe apenas um "melhor" modelo. Discussões sobre AIC vs. AICc vs BIC vs. SBC vs. o que quer que me deixe um pouco confuso. Eu acho que a idéia é conseguir alguns bons modelos. Você escolhe entre eles com base em uma combinação de conhecimento substantivo e idéias estatísticas. Se você não possui conhecimentos substanciais (raramente o caso; muito mais raramente do que a maioria das pessoas supõe), escolha o AIC mais baixo (ou AICc ou o que for). Mas você geralmente possui alguma experiência - caso contrário, por que você está investigando essas variáveis ​​específicas?