Perguntas com a marcação «cross-validation»

No Deep Learning de François Chollet com Python, ele diz: Como resultado, o ajuste da configuração do modelo com base em seu desempenho no conjunto de validação pode resultar rapidamente na adaptação excessiva ao conjunto de validação, mesmo que seu modelo nunca seja treinado diretamente sobre...

Entendo o conceito de validação cruzada com dobras k , mas não entendo o que significa "dobra". Citando a partir da página vinculada na wikipedia: O processo de validação cruzada é repetido k vezes (as dobras) Isso parece muito vago. A 'dobra' se refere a cada repetição do processo? Ou é um...

Minha pergunta: devo fazer CV mesmo para um conjunto de dados relativamente grande? Eu tenho um conjunto de dados relativamente grande e aplicarei um algoritmo de aprendizado de máquina ao conjunto de dados. Como meu PC não é rápido, o CV (e a busca na grade) às vezes leva muito tempo. Em...

Nos elementos do aprendizado estatístico , encontrei a seguinte declaração: Há uma qualificação: as etapas iniciais de triagem não supervisionada podem ser feitas antes que as amostras sejam deixadas de fora. Por exemplo, podemos selecionar os 1000 preditores com maior variação em todas as 50...

Nos estudos de psicologia, aprendi que deveríamos usar o método de Bonferroni para ajustar o nível de significância ao testar várias hipóteses em um único conjunto de dados. Atualmente, estou trabalhando com métodos de aprendizado de máquina, como Support Vector Machines ou Random Forest para...

Eu rotulei dados compostos por 10000 exemplos positivos e 50000 exemplos negativos, fornecendo um total de 60000 exemplos. Obviamente esses dados estão desequilibrados. Agora, digamos que quero criar meu conjunto de validação e quero usar 10% dos meus dados para fazer isso. Minha pergunta é a...

Eu tive uma entrevista de emprego para uma posição de ciência de dados. Durante a entrevista, perguntaram-me o que devo fazer para garantir que o modelo não seja ajustado demais. Minha primeira resposta foi usar a validação cruzada para avaliar o desempenho do modelo. No entanto, o entrevistador...

Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...

Estou treinando um classificador binário SVM usando o Scikit learn. Devido à natureza do meu problema, preciso evitar falsos negativos. Como nada é gratuito, estou bem em obter uma taxa mais alta de falsos positivos, a fim de reduzir o número de falsos negativos. Como podemos fazer isso...

Minha pergunta é sobre validação cruzada quando há muito mais variáveis ​​que observações. Para fixar idéias, proponho restringir a estrutura de classificação em uma dimensão muito alta (mais recursos do que observação). Problema: Suponha que, para cada variável , você tenha uma medida de...

Pesquisei este online por horas, mas nenhuma postagem online é o que estou procurando. Minha pergunta é muito fácil de implementar no procedimento misto SAS Proc, mas não sei como fazê-lo nos pacotes lme e / ou lmer. Suponha, eu tenho um modelo, , em que é fixo, mas ey=μ+α+β+αβ+ey=μ+α+β+αβ+ey =...

Estou trabalhando em um modelo de previsão baseado em ANN para uma série temporal financeira. Estou usando a validação cruzada 5 vezes e o desempenho médio é tão. O desempenho na última dobra (a iteração em que o último segmento é omitido do treinamento e usado para validação) é melhor que a...

Estou usando a regressão de vetores de suporte para modelar alguns dados bastante distorcidos (com alta curtose). Eu tentei modelar os dados diretamente, mas estou recebendo previsões errôneas, principalmente devido à distribuição dos dados, que é distorcida com caudas muito grossas. Tenho certeza...

Li algumas das postagens sobre seleção de recursos e validação cruzada, mas ainda tenho dúvidas sobre o procedimento correto. Suponha que eu tenha um conjunto de dados com 10 recursos e desejo selecionar os melhores. Suponha também que estou usando um classificador de vizinho mais próximo. Posso...

Li que a validação cruzada de deixar um fora fornece uma “estimativa imparcial do verdadeiro desempenho da generalização” (por exemplo, aqui ) e que essa é uma propriedade vantajosa do CV de deixar um fora. No entanto, não vejo como isso decorre das propriedades do CV individual. Por que o viés...

Eu tenho um problema de regressão com 5-6k variáveis. Divido meus dados em três conjuntos não sobrepostos: treinamento, validação e teste. Treino usando apenas o conjunto de treinamento e gere muitos modelos diferentes de regressão linear escolhendo um conjunto diferente de 200 variáveis ​​para...

Eu tenho um conjunto de dados pequeno e desequilibrado (70 positivo, 30 negativo) e ando brincando com a seleção de modelos para parâmetros SVM usando BAC (precisão balanceada) e AUC (área sob a curva). Usei pesos de classe diferentes para o parâmetro C no libSVM para compensar os dados...

Meu livro sobre validação cruzada é The Elements of Statistical Learning, de Hastie et al. (2ª ed.). Nas seções 7.10.1 e 7.12, eles falam sobre a diferença entre erro teste condicional e espera erro de teste E τ [ E ( X * , Y * ) [ G ( Y , f ( XE( X∗, Y∗)[ L ( Y, f^( X) ) |...

Encontrei em algum lugar que o conjunto de testes não deve ser usado como um conjunto de validação. Por quê? O conjunto de validação é acionado quando os parâmetros do modelo são fixados e o aprendizado ocorre apenas através do backprop no lote de treinamento. Então, por que não posso usar dados...

Eu executei o laço e, em seguida, validação cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Quando plogo cv, obtenho o seguinte: Notei também que recebo 2 lambdas diferentes: lambda.minelambda.1se Qual é a diferença entre essas lambdas? O que posso entender da plotagem acima em geral...