Entendo o conceito de validação cruzada com dobras k , mas não entendo o que significa "dobra". Citando a partir da página vinculada na wikipedia: O processo de validação cruzada é repetido k vezes (as dobras) Isso parece muito vago. A 'dobra' se refere a cada repetição do processo? Ou é um...
Minha pergunta: devo fazer CV mesmo para um conjunto de dados relativamente grande? Eu tenho um conjunto de dados relativamente grande e aplicarei um algoritmo de aprendizado de máquina ao conjunto de dados. Como meu PC não é rápido, o CV (e a busca na grade) às vezes leva muito tempo. Em...
Nos elementos do aprendizado estatístico , encontrei a seguinte declaração: Há uma qualificação: as etapas iniciais de triagem não supervisionada podem ser feitas antes que as amostras sejam deixadas de fora. Por exemplo, podemos selecionar os 1000 preditores com maior variação em todas as 50...
Nos estudos de psicologia, aprendi que deveríamos usar o método de Bonferroni para ajustar o nível de significância ao testar várias hipóteses em um único conjunto de dados. Atualmente, estou trabalhando com métodos de aprendizado de máquina, como Support Vector Machines ou Random Forest para...
Eu rotulei dados compostos por 10000 exemplos positivos e 50000 exemplos negativos, fornecendo um total de 60000 exemplos. Obviamente esses dados estão desequilibrados. Agora, digamos que quero criar meu conjunto de validação e quero usar 10% dos meus dados para fazer isso. Minha pergunta é a...
Eu tive uma entrevista de emprego para uma posição de ciência de dados. Durante a entrevista, perguntaram-me o que devo fazer para garantir que o modelo não seja ajustado demais. Minha primeira resposta foi usar a validação cruzada para avaliar o desempenho do modelo. No entanto, o entrevistador...
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...
Estou treinando um classificador binário SVM usando o Scikit learn. Devido à natureza do meu problema, preciso evitar falsos negativos. Como nada é gratuito, estou bem em obter uma taxa mais alta de falsos positivos, a fim de reduzir o número de falsos negativos. Como podemos fazer isso...
Pesquisei este online por horas, mas nenhuma postagem online é o que estou procurando. Minha pergunta é muito fácil de implementar no procedimento misto SAS Proc, mas não sei como fazê-lo nos pacotes lme e / ou lmer. Suponha, eu tenho um modelo, , em que é fixo, mas ey=μ+α+β+αβ+ey=μ+α+β+αβ+ey =...
Estou trabalhando em um modelo de previsão baseado em ANN para uma série temporal financeira. Estou usando a validação cruzada 5 vezes e o desempenho médio é tão. O desempenho na última dobra (a iteração em que o último segmento é omitido do treinamento e usado para validação) é melhor que a...
Li nessa troca um método heurístico de estimativa de gama para o kernel rbf nos SVMs. Fiquei imaginando se alguém poderia me explicar um pouco mais detalhadamente. Acredito que você selecione 1000 (ou um grande número) de pares de pontos de dados no conjunto de dados e calcule a norma para a...
Temos um pequeno conjunto de dados (cerca de 250 amostras * 100 recursos) no qual queremos criar um classificador binário após selecionar o melhor subconjunto de recursos. Digamos que particionemos os dados em: Treinamento, Validação e Teste Para a seleção de recursos, aplicamos um modelo de...
Li que a validação cruzada de deixar um fora fornece uma “estimativa imparcial do verdadeiro desempenho da generalização” (por exemplo, aqui ) e que essa é uma propriedade vantajosa do CV de deixar um fora. No entanto, não vejo como isso decorre das propriedades do CV individual. Por que o viés...
Eu tenho um problema de regressão com 5-6k variáveis. Divido meus dados em três conjuntos não sobrepostos: treinamento, validação e teste. Treino usando apenas o conjunto de treinamento e gere muitos modelos diferentes de regressão linear escolhendo um conjunto diferente de 200 variáveis para...
Eu tenho um conjunto de dados pequeno e desequilibrado (70 positivo, 30 negativo) e ando brincando com a seleção de modelos para parâmetros SVM usando BAC (precisão balanceada) e AUC (área sob a curva). Usei pesos de classe diferentes para o parâmetro C no libSVM para compensar os dados...
Tenho 400 respostas a um questionário de 20 itens que pretende medir uma constância atitudinal em estudantes de medicina. O instrumento foi validado nos EUA por um único ano de estudantes de medicina e os dados publicados são muito "limpos" - todos os valores de ritc> 0,3, alfa 0,84, PCA com uma...
Atualmente, estou usando a parada antecipada no meu trabalho para evitar o excesso de ajuste. Especificamente, aqueles tomados em forma de parada antecipada, mas quando? . Agora estou querendo comparar com outros algoritmos de classificação, onde parece que a validação cruzada de 10 vezes é...
Eu li várias postagens sobre o pacote de sinal de intercalação e estou especificamente interessado na função de trem . No entanto, não tenho certeza se entendi corretamente como a função do trem funciona. Para ilustrar meus pensamentos atuais, compus um exemplo rápido. Primeiro, um especifica...
Encontrei em algum lugar que o conjunto de testes não deve ser usado como um conjunto de validação. Por quê? O conjunto de validação é acionado quando os parâmetros do modelo são fixados e o aprendizado ocorre apenas através do backprop no lote de treinamento. Então, por que não posso usar dados...
Eu executei o laço e, em seguida, validação cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Quando plogo cv, obtenho o seguinte: Notei também que recebo 2 lambdas diferentes: lambda.minelambda.1se Qual é a diferença entre essas lambdas? O que posso entender da plotagem acima em geral...