Seleção de modelo original (?) Com CV dobrável em k

Ao usar o CV com dobra k para selecionar entre os modelos de regressão, geralmente calculo o erro CV separadamente para cada modelo, juntamente com o erro padrão SE, e seleciono o modelo mais simples dentro de 1 SE do modelo com o menor erro CV (o 1 regra de erro padrão, veja, por exemplo, aqui ). No entanto, recentemente me disseram que dessa maneira estou superestimando a variabilidade e que, no caso específico de selecionar entre dois modelos A e B, devo realmente proceder de uma maneira diferente:

Para cada dobra de comprimento , calcule as diferenças de ponto entre as previsões dos dois modelos. Depois, calcule a diferença quadrada média da dobra $K$ $N_K$ $M S D_{K} = \sqrt{\frac{\sum_{i = 1}^{N_{K}} {({\hat{y}}_{A i} - {\hat{y}}_{B i})}^{2}}{N_{K}}}$ $MSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}}$
média entre dobras, como de costume, e use esse erro de diferença de CV (junto com seu erro padrão) como um estimador para o erro de generalização. $MSD_K$

Questões:

Isso faz sentido para você? Eu sei que existem razões teóricas por trás do uso do erro CV como um estimador de erro de generalização (não sei quais são essas razões, mas sei que elas existem!). Não tenho idéia se existem razões teóricas por trás do uso desse erro CV "diferença".
Não sei se isso pode ser generalizado para as comparações de mais de dois modelos. Computar as diferenças para todos os pares de modelos parece arriscado (múltiplas comparações?): O que você faria se tivesse mais de dois modelos?

EDIT: minha fórmula está totalmente errada, a métrica correta é descrita aqui e é muito mais complicada. Bem, estou feliz por ter perguntado aqui antes de aplicar cegamente a fórmula! Agradeço à @Bay por me ajudar a entender com sua resposta esclarecedora. A medida correta descrita é bastante experimental, por isso vou me ater ao meu cavalo de trabalho confiável, o erro do CV!

regression cross-validation model-selection DeltaIV
fonte

Respostas:

$MSD_K$

Por exemplo, eu poderia criar um par estúpido de preditores:

{\hat{y}}_{A} (x, θ) = 1 + \frac{⟨ x, 1 ⟩}{θ}

$\hat y_A(\mathbf{x},\theta)= 1+\frac{\langle \mathbf{x},1\rangle}\theta$

{\hat{y}}_{B} (x, θ) := 1 + \frac{⟨ x, 1 ⟩}{θ^{2}}

$\hat y_B(\mathbf{x},\theta):= 1+\frac{\langle \mathbf{x},1\rangle}{\theta^2}$

$\theta$ $MSD_K$

$MSD_K$ $MSD_K$

Resposta ao comentário do OP

A fórmula apresentada no seu comentário requer um pouco de contexto:

É uma medida bayesiana de precisão, em que elpd é a densidade preditiva esperada em log ponto a ponto - um bocado, mas basicamente é a soma dos valores esperados do logaritmo da densidade preditiva posterior avaliada em cada ponto de dados sob algum valor preditivo prévio. densidade estimada usando validação cruzada.
A medida acima (elpd) é calculada usando uma validação cruzada de fora, em que a densidade preditiva é obtida no ponto omitido.
O que a fórmula deles (19) está fazendo é calcular o erro padrão da diferença na precisão preditiva (medida usando elpd) entre dois modelos. A idéia é que a diferença em elpd é assintoticamente normal, de modo que o erro padrão tenha uma média inferencial (e pode ser usado para testar se a diferença subjacente é zero) ou o modelo A tem um erro de previsão menor que o modelo B.

Portanto, existem muitas partes móveis nessa medida: Você precisa executar um algoritmo de amostragem MCMC para obter pontos da densidade posterior dos parâmetros. Você precisa integrá-lo para obter densidades preditivas. Em seguida, você precisa obter os valores esperados de cada um deles (em muitos empates). É um processo e tanto, mas, no final, deve dar um erro padrão útil.

Nota: No terceiro parágrafo completo abaixo da equação (19), os autores afirmam que são necessárias mais pesquisas para determinar se essa abordagem funciona bem para a comparação de modelos ... portanto, ainda não foi testada (altamente experimental). Assim, você confia basicamente na utilidade desse método até os estudos de acompanhamento verificarem se ele identifica de maneira confiável o melhor modelo (em termos de elpd ).

fonte

s e ({\hat{e l p d}}_{L O O}^{A} - {\hat{e l p d}}_{L O O}^{B})

$se(\widehat{elpd}_{LOO}^A-\widehat{elpd}_{LOO}^B)$

@ DeltaIV Ok ... Vou verificar a seção referenciada e tentar descompactar essa fórmula para você.

@ DeltaIV ok, tive uma alteração para revisar. Eu expandi minha postagem. Este parece ser um método muito experimental (e não verificado) para comparar dois modelos de previsão. Eu seria cuidadoso em usá-lo, a menos que você possa verificar seu desempenho com seus próprios estudos de Monte Carlo (por exemplo, ele pode escolher o modelo mais preditivo quando souber a resposta certa?).