Os dados de normalização (com média zero e desvio padrão da unidade) antes de executar uma validação cruzada repetida em dobra k tem conquistas negativas, como ajuste excessivo? Nota: isto é para uma situação em que #cases> total #features Estou transformando alguns dos meus dados usando uma...
Me deparei com este artigo de 2012 de Gitte Vanwinckelen e Hendrik Blockeel questionando a utilidade da validação cruzada repetida, que se tornou uma técnica popular para reduzir a variação da validação cruzada. Os autores demonstraram que, embora a validação cruzada repetida diminua a variação...
Eu tenho um conjunto de dados de 120 amostras em uma configuração de validação cruzada de 10 vezes. Atualmente, eu escolho os dados de treinamento do primeiro holdout e faço uma validação cruzada 5 vezes para escolher os valores de gama e C pela pesquisa em grade. Estou usando o SVM com o kernel...
Acabei de assistir novamente a uma palestra do curso Machine Learning no Coursera. Na seção em que o professor discute o PCA para pré-processamento de dados em aplicativos de aprendizado supervisionado, ele diz que o PCA deve ser executado apenas nos dados de treinamento e, em seguida, o mapeamento...
Dada uma matriz , a fatoração de matriz não negativa (NMF) encontra duas matrizes não negativas e ( ou seja, com todos os elementos ) para representar a matriz decomposta como:W m × k H k × n ≥0Vm×nVm×n\mathbf V^{m \times n}Wm×kWm×k\mathbf W^{m \times k}Hk×nHk×n\mathbf H^{k \times n}≥0≥0\ge...
Existe realmente alguma diferença entre o canivete e deixar uma validação cruzada? O procedimento parece idêntico. Estou perdendo alguma
Suponha que eu tenha construído um modelo de previsão para a ocorrência de uma doença específica em um conjunto de dados (o conjunto de dados de construção do modelo) e agora quero verificar o quão bem o modelo funciona em um novo conjunto de dados (o conjunto de dados de validação). Para um modelo...
Estou analisando um conjunto de dados usando um modelo de efeitos mistos com um efeito fixo (condição) e dois efeitos aleatórios (participante devido ao design do sujeito e ao par). O modelo foi gerado com o lme4pacote: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Em...
Ao usar o bootstrapping para avaliação do modelo, sempre achei que as amostras prontas para uso foram usadas diretamente como conjunto de teste. No entanto, esse parece não ser o caso da abordagem preterida do scikit-learnBootstrap , que parece criar o conjunto de testes a partir do desenho com a...
Eu sou muito novo em análise de dados funcionais (FDA). Estou lendo: Ramsay, James O. e Silverman, Bernard W. (2006), Functional Data Analysis, 2ª ed., Springer, Nova York. No entanto, ainda não estou muito claro onde / quando usar o FDA? Alguém poderia me dar um exemplo, especialmente em...
A "validação de inicialização" / "validação cruzada de reamostragem" é nova para mim, mas foi discutida pela resposta a esta pergunta . Acho que envolve dois tipos de dados: os dados reais e os dados simulados, em que um determinado conjunto de dados simulados é gerado a partir dos dados reais por...
TLDR: Meu conjunto de dados é bem pequeno (120) amostras. Ao fazer a validação cruzada de 10 vezes, devo: Colete as saídas de cada dobra de teste, concatene-as em um vetor e calcule o erro nesse vetor completo de previsões (120 amostras)? Ou devo vez calcular o erro nas saídas que recebo em cada...
Eu sou relativamente novo em florestas aleatórias. No passado, sempre comparei a precisão do ajuste contra o teste contra o ajuste contra o trem para detectar qualquer ajuste excessivo. Mas acabei de ler aqui que: "Em florestas aleatórias, não há necessidade de validação cruzada ou de um...
Li várias vezes que a validação cruzada "Deixar um fora" tem alta variação devido à grande sobreposição das dobras de treinamento. No entanto, não entendo por que isso é: o desempenho da validação cruzada não deve ser muito estável (baixa variação) exatamente porque os conjuntos de treinamento são...
Entendo o raciocínio por trás da divisão dos dados em um conjunto de teste e um conjunto de validação. Também entendo que o tamanho da divisão dependerá da situação, mas geralmente variará de 50/50 a 90/10. Eu construí um RNN para corrigir a ortografia e começar com um conjunto de dados de frases...
Eu tenho uma pergunta específica sobre validação na pesquisa de aprendizado de máquina. Como sabemos, o regime de aprendizado de máquina solicita que os pesquisadores treinem seus modelos nos dados de treinamento, escolha modelos candidatos por conjunto de validação e relate a precisão no conjunto...
Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste...
Depois de ler uma das "Dicas de pesquisa" do RJ Hyndman sobre validação cruzada e séries temporais, voltei a uma antiga pergunta minha que tentarei formular aqui. A idéia é que, em problemas de classificação ou regressão, a ordem dos dados não é importante e, portanto , a validação cruzada k- fold...
Estive navegando em vários tópicos aqui, mas não acho que minha pergunta exata seja respondida. Eu tenho um conjunto de dados de ~ 50.000 alunos e seu tempo para desistir. Vou realizar uma regressão proporcional a riscos com um grande número de covariáveis em potencial. Também farei regressão...
Estou redigindo uma revisão de literatura sobre um problema de saúde pública atual em que os dados são confundidos: Quais são os estudos de caso históricos comuns usados na educação em saúde pública / epidemiologia em que relações ou inferências inválidas ou confusas foram intencional ou...