Alta variação da validação cruzada de exclusão única

Li várias vezes que a validação cruzada "Deixar um fora" tem alta variação devido à grande sobreposição das dobras de treinamento. No entanto, não entendo por que isso é: o desempenho da validação cruzada não deve ser muito estável (baixa variação) exatamente porque os conjuntos de treinamento são quase idênticos? Ou estou entendendo completamente o conceito de "variação"?

Eu também não entendo completamente como o LOO pode ser imparcial, mas tem uma alta variação? Se a estimativa da LOO é igual ao verdadeiro valor do estimador na expectativa - como ela pode ter alta variação?

Nota: Sei que há uma pergunta semelhante aqui: por que a variação de validação cruzada de exclusão única (LOOCV) sobre a estimativa média do erro é alta? No entanto, a pessoa que respondeu diz mais tarde nos comentários que, apesar dos votos positivos, percebeu que sua resposta está errada.

variance cross-validation bias Pegah
fonte

Eu sou essa pessoa :-) mas observe que, em primeiro lugar, já atualizei minha resposta para remover a confusão e, em segundo lugar, todo esse segmento é fechado como uma duplicata de outro segmento: stats.stackexchange.com/ perguntas / 61783 . Você olhou lá? Seu Q parece-me uma duplicata também. Se você não estiver satisfeito com a resposta dada, considere formular sua pergunta mais especificamente. Agora vou votar para fechar, mas fique à vontade para editar sua

pergunta.

Possível duplicação de variância e viés na validação cruzada: por que o CV de exclusão única tem uma variação maior?

Ameba diz Reinstate Monica

Bem, isso é fácil: deixe o valor verdadeiro de um parâmetro ser

. Um estimador que rende

é imparcial e tem variação relativamente baixa, mas um estimador que rende

também é imparcial, mas tem variação muito maior.

0.5

$0.5$

0.49, 0.51, 0.49, 0.51...

$0.49, 0.51, 0.49, 0.51...$

0.1, 0.9, 0.1, 0.9...

$0.1, 0.9, 0.1, 0.9...$

Ameba diz Reinstate Monica

Em relação ao seu primeiro parágrafo: você precisa pensar na variação entre diferentes realizações de todo o conjunto de dados . Para um determinado conjunto de dados, o LOOCV realmente produzirá modelos muito semelhantes para cada divisão, porque os conjuntos de treinamento estão se cruzando muito (como você disse), mas esses modelos podem estar juntos longe do modelo real ; nos conjuntos de dados, eles estarão distantes em direções diferentes, portanto, alta variação. É assim que eu entendo qualitativamente.

Ameba diz Reinstate Monica

@amoeba, por que não transformar esses comentários em uma resposta oficial?

gung - Restabelece Monica

Respostas:

Provavelmente, essa pergunta acabará sendo encerrada como uma duplicata de variância e viés na validação cruzada: por que o CV de exclusão única tem uma variação maior? , mas antes que aconteça, acho que vou transformar meus comentários em uma resposta.

Eu também não entendo completamente como o LOO pode ser imparcial, mas tem uma alta variação?

Considere um exemplo simples. Deixe o valor verdadeiro de um parâmetro ser . Um estimador que rende é imparcial e tem variação relativamente baixa, mas um estimador que rende também é imparcial, mas tem variação muito maior. $0.5$ $0.49,0.51,0.49,0.51...$ $0.1,0.9,0.1,0.9...$

O desempenho da validação cruzada não deve ser muito estável (baixa variação) exatamente porque os conjuntos de treinamento são quase idênticos?

Você precisa pensar na variação entre diferentes realizações de todo o conjunto de dados. Para um determinado conjunto de dados, a validação cruzada de exclusão única produzirá modelos muito semelhantes para cada divisão, porque os conjuntos de treinamento estão se interceptando muito (como você notou corretamente), mas esses modelos podem estar juntos longe do modelo real; nos conjuntos de dados, eles estarão distantes em direções diferentes, portanto, alta variação.

Pelo menos é assim que eu entendo. Por favor, veja os tópicos vinculados para mais discussões e os artigos referenciados para ainda mais discussões.

ameba diz Restabelecer Monica
fonte

Portanto, pelo que entendi, o viés baixo é dado porque o conjunto de treinamento é muito grande - quase idêntico ao conjunto de dados inteiro (como apenas uma amostra de dados é deixada de fora para teste). Portanto, para um conjunto de dados específico, podemos esperar uma estimativa muito boa. No entanto, devido a essa alta correlação das dobras (a validação cruzada é quase realizada em dados idênticos em suas iterações), a estimativa também é muito específica para esse conjunto de dados em particular, resultando em alta variação entre o desempenho em diferentes conjuntos de dados da mesma distribuição subjacente . Corrigir?

Pegah

Eu acho que é principalmente correto, mas é preciso ter cuidado ao dizer isso for one particular dataset we can expect a very good estimation. Eu acho que alguém pode interpretá-lo como significando que a estimativa de algum parâmetro específico do conjunto de dados será boa. Mas, em geral, a validação cruzada deve estimar um parâmetro da população : quão bem um determinado tipo de modelo pode fazer previsões sobre a variável dependente na população; e podemos não esperar uma boa estimativa do que por LOOCV, por causa do que você escreveu (a estimativa é very specific for this particular dataset).

Ameba diz Reinstate Monica

Devo acrescentar uma ressalva de que tudo isso é meu entendimento atual, mas, em geral, acho esse tópico bastante complicado e minha experiência com a validação cruzada é limitada. Eu não sou um especialista.

Ameba diz Reinstate Monica

Posso perguntar por que você acha complicado? Estou curioso, já que isso pode me ensinar alguma coisa sobre onde ter cuidado quando se trata de CV ou de onde a aprofundar meu conhecimento

Pegah

Dada a resposta aceita neste tópico , talvez você não precise mais mencionar alta variação do LOOCV nesta resposta, ou seja, portanto alta variação ? Pensei nessas questões por um tempo e não pude apresentar nenhuma razão teórica para a alta variação do LOOCV em problemas de regressão contínua ("contínua"?), Embora eu veja o ponto de Paulo nos comentários no tópico vinculado que o LOOCV falha se sua amostra contém duplicatas de cada ponto.

Richard Hardy

Essa alta variação refere-se ao espaço dos conjuntos de treinamento. Aqui está o porquê do LOOCV ter alta variação: no LOOCV, obtemos um erro de previsão para cada observação, por exemplo, observação i, usando todo o conjunto de dados observado, exceto esta observação. Portanto, o valor previsto para i depende muito do conjunto de dados atual. Agora assuma que observamos outro conjunto de dados independente e ajustamos um modelo nesse novo conjunto de dados. Se usarmos esse novo modelo para obter um valor previsto para a observação i, o valor previsto é potencialmente muito diferente daquele avaliado pelo LOOCV (embora correto em média (imparcial)).

Essa é a intuição por trás da alta variação da previsão de erro no LOOCV.

No entanto, se você estiver usando o LOOCV para comparar os resultados de um modelo com diferentes hiperparâmetros, acredito que poderá usá-lo com segurança para estimar erros de previsão, desde que o verdadeiro valor do erro de previsão não seja do seu interesse, ou seja, você só deseja compare modelos diferentes com o conjunto de treinamento observado e você não se importa com o erro real real a ser estimado.

Dito isto, como regra geral, se você tiver uma amostra pequena, use LOOCV, caso contrário, use CV vezes k com um valor menor para k.

Mehdi Rostami
fonte