Meu livro sobre validação cruzada é The Elements of Statistical Learning, de Hastie et al. (2ª ed.). Nas seções 7.10.1 e 7.12, eles falam sobre a diferença entre erro teste condicional e espera erro de teste E τ [ E ( X * , Y * ) [ G ( Y , f ( XE( X∗, Y∗)[ L ( Y, f^( X) ) |...
Nesta página da Wikipedia , na subseção para validação cruzada com dobras K, diz "Na validação cruzada com dobras k, a amostra original é dividida aleatoriamente em k subamostras de tamanho igual. Das k subamostras, uma única subamostra é retida como dados de validação para testando o modelo, e as...
Estou usando a abordagem de autoinicialização para validação interna de um modelo multivariado criado com regressão logística padrão OU rede elástica. O procedimento que eu uso é o seguinte: 1) criar modelo usando todo o conjunto de dados, obter valores previstos e calcular AUC (AUC_ap,...
Quando uso modelos de regressão, sinto desconfiança por não adotar uma premissa de associação linear; em vez disso, gosto de explorar a forma funcional das relações entre variáveis dependentes e explicativas usando regressão de suavização não paramétrica (por exemplo , modelos aditivos...
Atualmente, estou usando a parada antecipada no meu trabalho para evitar o excesso de ajuste. Especificamente, aqueles tomados em forma de parada antecipada, mas quando? . Agora estou querendo comparar com outros algoritmos de classificação, onde parece que a validação cruzada de 10 vezes é...
Eu li várias postagens sobre o pacote de sinal de intercalação e estou especificamente interessado na função de trem . No entanto, não tenho certeza se entendi corretamente como a função do trem funciona. Para ilustrar meus pensamentos atuais, compus um exemplo rápido. Primeiro, um especifica...
Encontrei em algum lugar que o conjunto de testes não deve ser usado como um conjunto de validação. Por quê? O conjunto de validação é acionado quando os parâmetros do modelo são fixados e o aprendizado ocorre apenas através do backprop no lote de treinamento. Então, por que não posso usar dados...
Eu executei o laço e, em seguida, validação cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Quando plogo cv, obtenho o seguinte: Notei também que recebo 2 lambdas diferentes: lambda.minelambda.1se Qual é a diferença entre essas lambdas? O que posso entender da plotagem acima em geral...
Em geral, se tivermos um grande conjunto de dados, podemos dividi-lo em (1) treinamento, (2) validação e (3) teste. Usamos a validação para identificar os melhores hiperparâmetros na validação cruzada (por exemplo, C no SVM) e, em seguida, treinamos o modelo usando os melhores hiperparâmetros com o...
Estou um pouco preocupado e confuso com a ideia de como a técnica de parada precoce é definida. Se você der uma olhada na Wikipedia , ela será definida da seguinte forma: Divida os dados de treinamento em um conjunto de treinamento e um conjunto de validação, por exemplo, na proporção de 2 para...
Você conhece uma referência ou nome para a seguinte maneira de investigar se uma técnica de modelagem complexa é tendenciosa?TTT Aplique ao conjunto de dados original. Meça seu desempenho (por exemplo, R ao quadrado na configuração de regressão).TTT Permita aleatoriamente a variável de resposta...
Recentemente, encontrei várias fontes "informais" que indicam que, em algumas circunstâncias, se usarmos o AIC ou o BIC para treinar um modelo de série temporal, não precisaremos dividir os dados em teste e treinamento - podemos usar todos os dados para treinamento. (As fontes incluem, entre...
Eu estou familiarizado com a validação cruzada "regular", mas agora quero fazer previsões de séries temporais enquanto estiver usando a validação cruzada com uma função de regressão linear simples. Escrevo um exemplo simples, para ajudar a esclarecer minhas duas perguntas: uma sobre a divisão trem...
Estou tendo dificuldades para acessar a mesma página que meu supervisor quando se trata de validar meu modelo. Analisei os resíduos (observados em relação aos valores ajustados) e usei isso como argumento para discutir os resultados obtidos pelo meu modelo, no entanto, meu supervisor insiste que a...
Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? por exemplo, se a saída y estiver na...
estou participando de um desafio no qual criei um modelo que executa 70% de AUC no conjunto de trens e 70% de AUC no conjunto de testes de espera. O outro participante criou um modelo que executa 96% de AUC no conjunto de trens e 76% de AUC no conjunto de testes de espera. Na minha opinião, meu...
Estou tentando ajustar um SVM aos meus dados. Meu conjunto de dados contém 3 classes e estou executando uma validação cruzada de 10 vezes (no LibSVM): ./svm-train -g 0.5 -c 10 -e 0.1 -v 10 training_data A ajuda afirma assim: -c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR...
Estou ciente das vantagens da validação cruzada k-fold (e deixe-o-fora), bem como das vantagens de dividir seu conjunto de treinamento para criar um terceiro conjunto de 'validação', que você usa para avaliar modele o desempenho com base nas opções de hiperparâmetros, para que você possa otimizar e...
Considere regressão líquida elástica com glmnetparametrização semelhante à função de perdaL=12n∥∥y−β0−Xβ∥∥2+λ(α∥β∥1+(1−α)∥β∥22/2).L=12n‖y−β0−Xβ‖2+λ(α‖β‖1+(1−α)‖β‖22/2).\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert...
Eu pensei que a validação cruzada K-fold consiste nas seguintes etapas. Divida os dados aleatoriamente em pedaços.KKK Encaixe em pedaços .K- 1K-1 1K-1 Prever no pedaço restante. Mantenha previsões. Repita 2-3 para todas as combinações remanescentes de dos pedaços que omitem 1 pedaço.K- 1K-1...