É sabido, especialmente no processamento de linguagem natural, que o aprendizado de máquina deve prosseguir em duas etapas, uma etapa de treinamento e uma etapa de avaliação, e eles devem usar dados diferentes. Por que é isso? Intuitivamente, esse processo ajuda a evitar o ajuste excessivo dos...
Quando uso o GAM, o DF residual é (última linha do código). O que isso significa? Indo além do exemplo do GAM, em geral, o número de graus de liberdade pode ser um número não inteiro?26,626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data =...
A validação cruzada K-fold pode ser usada para estimar a capacidade de generalização de um determinado classificador. Posso (ou devo) também calcular uma variação combinada de todas as execuções de validação para obter uma estimativa melhor de sua variação? Se não, por que? Encontrei documentos...
Na classificação de texto, tenho um conjunto de treinamento com cerca de 800 amostras e um conjunto de testes com cerca de 150 amostras. O conjunto de teste nunca foi usado e aguarda para ser usado até o final. Estou usando todo o conjunto de treinamento de 800 amostras, com validação cruzada de...
Em uma pergunta em outro lugar neste site, várias respostas mencionaram que o AIC é equivalente à validação cruzada de não uso único (LOO) e que o BIC é equivalente à validação cruzada de dobras em K Existe uma maneira de demonstrar isso empiricamente em R, de modo que as técnicas envolvidas na LOO...
Meu entendimento é que, com a validação cruzada e a seleção de modelos, tentamos abordar duas coisas: P1 . Estimar a perda esperada na população ao treinar com nossa amostra P2 . Medir e relatar nossa incerteza em relação a essa estimativa (variação, intervalos de confiança, viés etc.) A prática...
Estou fazendo validação cruzada aninhada. Li que a validação cruzada de exclusão única pode ser tendenciosa (não lembro o porquê). É melhor usar a validação cruzada 10 vezes ou a validação cruzada de exclusão única, além do tempo de execução mais longo para a validação cruzada de exclusão...
Eu tenho alguns dados e quero construir um modelo (por exemplo, um modelo de regressão linear) a partir desses dados. Em uma próxima etapa, quero aplicar a validação cruzada de uma saída para fora (LOOCV) no modelo para ver o desempenho. Se entendi direito o LOOCV, construo um novo modelo para...
Em algumas palestras e tutoriais que eu já vi, eles sugerem dividir seus dados em três partes: treinamento, validação e teste. Mas não está claro como o conjunto de dados de teste deve ser usado, nem como essa abordagem é melhor do que a validação cruzada de todo o conjunto de dados. Digamos que...
Na discussão: como gerar uma curva roc para classificação binária , acho que a confusão foi que um "classificador binário" (que é qualquer classificador que separa duas classes) foi para Yang o que é chamado de "classificador discreto" (que produz saídas discretas 0/1 como um SVM) e não saídas...
Entendo qual o papel do lambda em uma regressão com rede elástica. E eu posso entender por que alguém selecionaria lambda.min, o valor de lambda que minimiza o erro validado cruzado. Minha pergunta é: Onde na literatura estatística é recomendado usar lambda.1se, que é o valor de lambda que...
Estou procurando uma referência ao artigo em que a validação cruzada da dobra k foi introduzida (em vez de apenas uma boa referência acadêmica para o assunto). Talvez esteja muito longe nas brumas do tempo identificar inequivocamente o primeiro artigo, de modo que qualquer artigo inicial em que a...
Qual é o método de amostragem mais apropriado para avaliar o desempenho de um classificador em um conjunto de dados específico e compará-lo com outros classificadores? A validação cruzada parece ser uma prática padrão, mas li que métodos como o .632 bootstrap são uma opção melhor. Como...
Hoje de manhã acordei pensando (isso pode ser devido ao fato de que ontem à noite não dormi muito): como a validação cruzada parece ser a pedra angular da previsão adequada de séries temporais, quais são os modelos que eu deveria "normalmente" "validar cruzadamente contra? Eu vim com alguns...
Eu li muitos artigos de pesquisa sobre classificação de sentimentos e tópicos relacionados. A maioria deles usa validação cruzada de 10 vezes para treinar e testar classificadores. Isso significa que nenhum teste / validação separado é feito. Por que é que? Quais são as vantagens / desvantagens...
Como a ciência deve ser reproduzível, por definição, há um reconhecimento crescente de que dados e código são um componente essencial da reprodutibilidade, conforme discutido na Mesa Redonda de Yale para compartilhamento de dados e código . Ao revisar um manuscrito para um periódico que não requer...
Estou interessado na seleção de modelos em uma configuração de série temporal. Por concretude, suponha que eu queira selecionar um modelo ARMA de um conjunto de modelos ARMA com diferentes ordens de atraso. A intenção final é a previsão . A seleção do modelo pode ser feita por validação...
Suponha que eu tenha treinado vários modelos no conjunto de treinamento, escolha o melhor usando o conjunto de validação cruzada e o desempenho medido no conjunto de teste. Então agora eu tenho um melhor modelo final. Devo treiná-lo novamente em todos os dados disponíveis ou enviar soluções...
Encontrei definições possivelmente conflitantes para a estatística de validação cruzada (CV) e para a estatística de validação cruzada generalizada (GCV) associada a um modelo linear (com um vetor de erro normal e homoscedástico \ símbolo de negrito \ varepsilon ).Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta...
Como os modelos de efeitos mistos (lineares) são normalmente comparados entre si? Eu sei que testes de razão de verossimilhança podem ser usados, mas isso não funciona se um modelo não for um 'subconjunto' do outro correto? A estimativa dos modelos df é sempre direta? Número de efeitos fixos +...