Reter repetidamente os subconjuntos dos dados durante o ajuste do modelo para quantificar o desempenho do modelo nos subconjuntos de dados retidos.
O AIC e o BIC são os dois métodos de avaliação do ajuste do modelo penalizados pelo número de parâmetros estimados. Pelo que entendi, o BIC penaliza mais os modelos por parâmetros livres do que o AIC. Além de uma preferência baseada no rigor dos critérios, existem outros motivos para preferir a AIC...
Eu estou querendo saber como escolher um modelo preditivo depois de fazer a validação cruzada K-fold. Isso pode ser redigido de maneira desajeitada, então deixe-me explicar com mais detalhes: sempre que executo a validação cruzada K-fold, uso K subconjuntos dos dados de treinamento e termino com...
É sempre uma boa ideia treinar com o conjunto de dados completo após a validação cruzada ? Dito de outra forma, é correto treinar com todas as amostras no meu conjunto de dados e não poder verificar se esse acessório específico se encaixa demais ? Alguns antecedentes sobre o problema: Digamos...
Eu tenho usado o KKK validação cruzada fold algumas vezes agora para avaliar o desempenho de alguns algoritmos de aprendizagem, mas eu sempre fui intrigado a respeito de como eu deveria escolher o valor de KKK . Eu sempre vi e usei um valor de K= 10K=10K = 10 , mas isso parece totalmente...
Gostaria que seus pensamentos sobre as diferenças entre validação cruzada e bootstrapping estimassem o erro de previsão. Funciona melhor para tamanhos de conjuntos de dados pequenos ou
Como alguém pode usar validação cruzada aninhada para seleção de modelo ? Pelo que li online, o CV aninhado funciona da seguinte maneira: Existe o loop interno do CV, no qual podemos realizar uma pesquisa na grade (por exemplo, executando a dobra K para todos os modelos disponíveis, por exemplo,...
Como os diferentes métodos de validação cruzada se comparam em termos de variação e tendência do modelo? Minha pergunta é parcialmente motivada por este tópico: Número ideal de dobras na validação cruzada fold : o CV de deixar um fora é sempre a melhor escolha? KKK. A resposta sugere que os...
Como você descreveria a validação cruzada para alguém sem experiência em análise de
Estou ficando um pouco confuso sobre a seleção de recursos e o aprendizado de máquina e fiquei imaginando se você poderia me ajudar. Eu tenho um conjunto de dados de microarray que é classificado em dois grupos e possui milhares de recursos. Meu objetivo é obter um pequeno número de genes (meus...
Recentemente, tenho lido muito neste site (@Aniko, @Dikran Marsupial, @Erik) e em outros lugares sobre o problema de sobreajuste que ocorre com a validação cruzada - (Smialowski et al. 2010 Bioinformatics, Hastie, Elements of statistics learning). A sugestão é que qualquer seleção de recurso...
Pergunta: Quero ter certeza de alguma coisa, o uso da validação cruzada k-fold com séries temporais é direto ou é necessário prestar atenção especial antes de usá-lo? Antecedentes: estou modelando uma série temporal de 6 anos (com cadeia semi-markov), com uma amostra de dados a cada 5 minutos....
Qual é a estratégia apropriada para dividir o conjunto de dados? I pedir feedback sobre a abordagem seguinte (não sobre os parâmetros individuais como test_sizeou n_iter, mas se eu usasse X, y, X_train, y_train, X_test, e y_testde forma adequada e se a sequência faz sentido): (estendendo este...
Eu tenho dados de desequilíbrio de classe e quero ajustar os hiperparâmetros da trança impulsionada usando xgboost. Questões Existe um equivalente de gridsearchcv ou randomsearchcv para xgboost? Caso contrário, qual é a abordagem recomendada para ajustar os parâmetros do...
Suponha que tenhamos alguém construindo um modelo preditivo, mas que alguém não seja necessariamente versado em princípios estatísticos ou de aprendizado de máquina adequados. Talvez estejamos ajudando essa pessoa enquanto ela está aprendendo, ou talvez essa pessoa esteja usando algum tipo de...
Encontrei duas perguntas aqui e aqui sobre esse problema, mas ainda não há uma resposta ou explicação óbvia. Eu imponho o mesmo problema em que o erro de validação é menor que o erro de treinamento na minha Rede Neural de Convolução. O que isso
Qual é a diferença entre validação cruzada estratificada e validação cruzada ? A Wikipedia diz: Na validação cruzada estratificada de dobras k , as dobras são selecionadas para que o valor médio da resposta seja aproximadamente igual em todas as dobras. No caso de uma classificação dicotômica,...
No aprendizado estatístico, implícita ou explicitamente, sempre se assume que o conjunto de treinamento é composto de tuplas de entrada / resposta que são desenhados independentemente da mesma distribuição conjunta comD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNNP ( X , y...
Para mim, parece que a validação de espera é inútil. Ou seja, dividir o conjunto de dados original em duas partes (treinamento e teste) e usar a pontuação do teste como uma medida de generalização é um tanto inútil. A validação cruzada da dobra K parece fornecer melhores aproximações de...
Transformo todos os meus dados ou dobras (se o CV for aplicado) ao mesmo tempo? por exemplo (allData - mean(allData)) / sd(allData) Transformo trainset e testset separadamente? por exemplo (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Ou eu transformo...
Tirando as considerações sobre o poder da computação, existem razões para acreditar que o aumento do número de dobras na validação cruzada leva a uma melhor seleção / validação de modelo (ou seja, quanto maior o número de dobras, melhor)? Levando o argumento ao extremo, a validação cruzada de...