Na classificação de texto, tenho um conjunto de treinamento com cerca de 800 amostras e um conjunto de testes com cerca de 150 amostras. O conjunto de teste nunca foi usado e aguarda para ser usado até o final. Estou usando todo o conjunto de treinamento de 800 amostras, com validação cruzada de...
Em uma pergunta em outro lugar neste site, várias respostas mencionaram que o AIC é equivalente à validação cruzada de não uso único (LOO) e que o BIC é equivalente à validação cruzada de dobras em K Existe uma maneira de demonstrar isso empiricamente em R, de modo que as técnicas envolvidas na LOO...
Meu entendimento é que, com a validação cruzada e a seleção de modelos, tentamos abordar duas coisas: P1 . Estimar a perda esperada na população ao treinar com nossa amostra P2 . Medir e relatar nossa incerteza em relação a essa estimativa (variação, intervalos de confiança, viés etc.) A prática...
Eu tenho alguns dados e quero construir um modelo (por exemplo, um modelo de regressão linear) a partir desses dados. Em uma próxima etapa, quero aplicar a validação cruzada de uma saída para fora (LOOCV) no modelo para ver o desempenho. Se entendi direito o LOOCV, construo um novo modelo para...
Na discussão: como gerar uma curva roc para classificação binária , acho que a confusão foi que um "classificador binário" (que é qualquer classificador que separa duas classes) foi para Yang o que é chamado de "classificador discreto" (que produz saídas discretas 0/1 como um SVM) e não saídas...
Estou fazendo validação cruzada aninhada. Li que a validação cruzada de exclusão única pode ser tendenciosa (não lembro o porquê). É melhor usar a validação cruzada 10 vezes ou a validação cruzada de exclusão única, além do tempo de execução mais longo para a validação cruzada de exclusão...
Em algumas palestras e tutoriais que eu já vi, eles sugerem dividir seus dados em três partes: treinamento, validação e teste. Mas não está claro como o conjunto de dados de teste deve ser usado, nem como essa abordagem é melhor do que a validação cruzada de todo o conjunto de dados. Digamos que...
Estou procurando uma referência ao artigo em que a validação cruzada da dobra k foi introduzida (em vez de apenas uma boa referência acadêmica para o assunto). Talvez esteja muito longe nas brumas do tempo identificar inequivocamente o primeiro artigo, de modo que qualquer artigo inicial em que a...
Entendo qual o papel do lambda em uma regressão com rede elástica. E eu posso entender por que alguém selecionaria lambda.min, o valor de lambda que minimiza o erro validado cruzado. Minha pergunta é: Onde na literatura estatística é recomendado usar lambda.1se, que é o valor de lambda que...
Qual é o método de amostragem mais apropriado para avaliar o desempenho de um classificador em um conjunto de dados específico e compará-lo com outros classificadores? A validação cruzada parece ser uma prática padrão, mas li que métodos como o .632 bootstrap são uma opção melhor. Como...
Encontrei definições possivelmente conflitantes para a estatística de validação cruzada (CV) e para a estatística de validação cruzada generalizada (GCV) associada a um modelo linear (com um vetor de erro normal e homoscedástico \ símbolo de negrito \ varepsilon ).Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta...
Eu li muitos artigos de pesquisa sobre classificação de sentimentos e tópicos relacionados. A maioria deles usa validação cruzada de 10 vezes para treinar e testar classificadores. Isso significa que nenhum teste / validação separado é feito. Por que é que? Quais são as vantagens / desvantagens...
Estou interessado na seleção de modelos em uma configuração de série temporal. Por concretude, suponha que eu queira selecionar um modelo ARMA de um conjunto de modelos ARMA com diferentes ordens de atraso. A intenção final é a previsão . A seleção do modelo pode ser feita por validação...
Hoje de manhã acordei pensando (isso pode ser devido ao fato de que ontem à noite não dormi muito): como a validação cruzada parece ser a pedra angular da previsão adequada de séries temporais, quais são os modelos que eu deveria "normalmente" "validar cruzadamente contra? Eu vim com alguns...
Ao tentar selecionar entre vários modelos ou o número de recursos a serem incluídos, digamos previsão, posso pensar em duas abordagens. Divida os dados em conjuntos de treinamento e teste. Melhor ainda, use bootstrapping ou validação cruzada k-fold. Treine sempre no conjunto de treinamento e...
Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist,...
Tenho dados históricos de vendas de uma padaria (diariamente, mais de 3 anos). Agora, quero criar um modelo para prever vendas futuras (usando recursos como dia da semana, variáveis climáticas, etc.). Como devo dividir o conjunto de dados para ajustar e avaliar os modelos? Precisa ser uma...
Introdução: Eu tenho um conjunto de dados com um clássico "grande p, pequeno n problema". O número de amostras disponíveis n = 150, enquanto o número de possíveis preditores p = 400. O resultado é uma variável contínua. Eu quero encontrar os descritores mais "importantes", ou seja, aqueles que...
Em seu artigo Seleção de modelo linear por validação cruzada , Jun Shao mostra que, para o problema de seleção de variáveis na regressão linear multivariada, o método de validação cruzada de sobreaquecimento (LOOCV) é 'assintoticamente inconsistente'. Em inglês simples, ele tende a selecionar...
Como os modelos de efeitos mistos (lineares) são normalmente comparados entre si? Eu sei que testes de razão de verossimilhança podem ser usados, mas isso não funciona se um modelo não for um 'subconjunto' do outro correto? A estimativa dos modelos df é sempre direta? Número de efeitos fixos +...