Transformo todos os meus dados ou dobras (se o CV for aplicado) ao mesmo tempo? por exemplo (allData - mean(allData)) / sd(allData) Transformo trainset e testset separadamente? por exemplo (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Ou eu transformo...
Gostaria de saber se alguém conhece um compêndio de técnicas de validação cruzada com uma discussão das diferenças entre eles e um guia sobre quando usar cada um deles. A Wikipedia possui uma lista das técnicas mais comuns, mas estou curioso para saber se existem outras técnicas e se existem...
"Big data" está em toda parte na mídia. Todo mundo diz que "big data" é algo importante para 2012, por exemplo, o KDNuggets faz pesquisas sobre tópicos importantes para 2012 . No entanto, tenho profundas preocupações aqui. Com o big data, todo mundo parece feliz apenas em conseguir alguma coisa ....
Existem estudos empíricos que justifiquem o uso da regra de erro padrão em favor da parcimônia? Obviamente, depende do processo de geração de dados, mas qualquer coisa que analise um grande conjunto de conjuntos de dados seria uma leitura muito interessante. A "regra de erro padrão" é aplicada...
Em todos os contextos, eu estou familiarizado com a validação cruzada, que é usada apenas com o objetivo de aumentar a precisão preditiva. A lógica da validação cruzada pode ser estendida na estimativa das relações imparciais entre variáveis? Embora este artigo de Richard Berk demonstre o uso de...
TL, DR: Parece que, ao contrário do conselho muitas vezes repetida, leave-one-out validação cruzada (LOO-CV) - isto é,CV fold com(o número de dobras) igual a(o número das observações de treinamento) - produz estimativas do erro de generalização que é a menor variável para qualquer, não a mais...
Eu tenho usado o pacote de intercalação no R para criar modelos preditivos para classificação e regressão. O Caret fornece uma interface unificada para ajustar os hiper-parâmetros do modelo por validação cruzada ou correias de inicialização. Por exemplo, se você está construindo um modelo simples...
Ao usar a validação cruzada para fazer a seleção do modelo (como por exemplo, ajuste de hiperparâmetro) e avaliar o desempenho do melhor modelo, deve-se usar a validação cruzada aninhada . O loop externo é para avaliar o desempenho do modelo, e o loop interno é para selecionar o melhor modelo; o...
Estou tentando descobrir qual método de validação cruzada é melhor para minha situação. Os dados a seguir são apenas um exemplo para solucionar o problema (em R), mas meus Xdados reais ( xmat) são correlacionados entre si e em graus diferentes com a yvariável ( ymat). Forneci o código R, mas...
Eu tenho um conjunto de dados para o qual tenho vários conjuntos de rótulos binários. Para cada conjunto de rótulos, treino um classificador, avaliando-o por validação cruzada. Quero reduzir a dimensionalidade usando a análise de componentes principais (PCA). Minha pergunta é: É possível executar...
Um dos maiores problemas com a análise de cluster é que podemos ter que tirar conclusões diferentes quando baseamos nos diferentes métodos de cluster usados (incluindo diferentes métodos de ligação no cluster hierárquico). Gostaria de saber sua opinião sobre isso - qual método você selecionará e...
Essa questão pode ser muito aberta para obter uma resposta definitiva, mas espero que não. Algoritmos de aprendizado de máquina, como SVM, GBM, Random Forest etc., geralmente possuem alguns parâmetros livres que, além de algumas orientações básicas, precisam ser ajustados para cada conjunto de...
Existem vários threads no CrossValidated no tópico seleção de modelo e validação cruzada. Aqui estão alguns: Validação cruzada interna x externa e seleção de modelo A melhor resposta de @ DikranMarsupial para Seleção de recursos e validação cruzada No entanto, as respostas para esses...
Por que um procedimento de validação cruzada supera o problema de sobreajustar um
Recentemente, me deparei com um artigo que propõe o uso de um classificador k-NN em um conjunto de dados específico. Os autores usaram todas as amostras de dados disponíveis para realizar a validação cruzada de dobras k para diferentes valores de k e relatam os resultados da validação cruzada da...
Estou tentando aprender vários métodos de validação cruzada, principalmente com a intenção de aplicar a técnicas de análise multivariada supervisionada. Dois que eu encontrei são as técnicas de validação cruzada K-fold e Monte Carlo. Eu li que o K-fold é uma variação de Monte Carlo, mas não tenho...
Disseram-me que é benéfico usar a validação cruzada estratificada, especialmente quando as classes de resposta são desequilibradas. Se um objetivo da validação cruzada é ajudar a explicar a aleatoriedade da nossa amostra de dados de treinamento original, certamente fazer com que cada dobra tenha a...
Estou validando cruzadamente um modelo que está tentando prever uma contagem. Se esse fosse um problema de classificação binária, eu calcularia a AUC fora da dobra e, se esse fosse um problema de regressão, calcularia o RMSE ou o MAE fora da dobra. Para um modelo de Poisson, que métricas de erro...
Acabei de me deparar com este artigo , que descreve como calcular a repetibilidade (também conhecida como confiabilidade, também conhecida como correlação intraclasse) de uma medição via modelagem de efeitos mistos. O código R seria: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the...
Eu tenho uma pergunta sobre o processo de validação cruzada. Estou no meio de um curso de Machine Learning no Cursera. Um dos tópicos é sobre a validação cruzada. Achei um pouco difícil de seguir. Eu sei por que precisamos do CV porque queremos que nossos modelos funcionem bem em dados futuros...