Fiz uma validação cruzada de 10 vezes em diferentes algoritmos de classificação binária, com o mesmo conjunto de dados e recebi os resultados médios de Micro e Macro. Deve-se mencionar que esse era um problema de classificação de vários rótulos. No meu caso, verdadeiros negativos e verdadeiros...
Nota: O caso é n >> p Estou lendo Elementos de aprendizagem estatística e há várias menções sobre a maneira "correta" de fazer a validação cruzada (por exemplo, página 60, página 245). Especificamente, minha pergunta é como avaliar o modelo final (sem um conjunto de testes separado) usando o...
Eu tenho lido sobre a validação do k-fold e quero ter certeza de que entendi como isso funciona. Eu sei que, para o método de validação, os dados são divididos em três conjuntos, e o conjunto de teste é usado apenas no final para avaliar o desempenho do modelo, enquanto o conjunto de validação é...
O meu entendimento é que, mesmo quando seguindo procedimentos transversais adequados de seleção de validação e modelo, overfitting vai acontecer se um pesquisas para um modelo com força suficiente , a menos que restrições impõe a complexidade do modelo, período. Além disso, muitas vezes as pessoas...
Estou usando libsvm no modo C-SVC com um kernel polinomial de grau 2 e sou obrigado a treinar vários SVMs. Cada conjunto de treinamento possui 10 recursos e 5000 vetores. Durante o treinamento, recebo este aviso para a maioria dos SVMs que treino: WARNING: reaching max number of...
Estou confuso sobre como particionar os dados para validação cruzada k-fold do aprendizado de conjuntos. Supondo que eu tenha uma estrutura de aprendizado de conjuntos para classificação. Minha primeira camada contém os modelos de classificação, por exemplo, svm, árvores de decisão. Minha segunda...
Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando...
Sei que executar o ajuste de hiperparâmetros fora da validação cruzada pode levar a estimativas enviesadas de validade externa, porque o conjunto de dados que você usa para medir o desempenho é o mesmo usado para ajustar os recursos. O que eu quero saber é o quão ruim é esse problema . Eu posso...
Dediquei muito tempo ao desenvolvimento de métodos e softwares para validar modelos preditivos no domínio estatístico freqüentista tradicional. Ao colocar mais idéias bayesianas em prática e ensinar, vejo algumas diferenças importantes a serem adotadas. Primeiro, a modelagem preditiva bayesiana...
Dado um modelo hierárquico , quero um processo de dois estágios para se ajustar ao modelo. Primeiro, corrija um punhado de hiperparâmetros e, em seguida, faça inferência bayesiana no restante dos parâmetros . Para fixar os hiperparâmetros, estou considerando duas
Duas abordagens comuns para a seleção de variáveis correlacionadas são testes de significância e validação cruzada. Que problema cada um tenta resolver e quando eu preferiria um ao
O caretpacote R é validado cruzadamente sobre alphae lambdapara o glmnetmodelo? Executando esse código, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y...
Gostaria de saber se existem / algumas vantagens em usar amostragem estratificada em vez de aleatória, ao dividir o conjunto de dados original em conjunto de treinamento e teste para classificação. Além disso, a amostragem estratificada introduz mais viés no classificador do que a amostragem...
Estou testando diferentes classificadores em um conjunto de dados em que há 5 classes e cada instância pode pertencer a uma ou mais dessas classes; portanto, estou usando especificamente os classificadores de várias etiquetas do scikit-learn sklearn.multiclass.OneVsRestClassifier. Agora eu quero...
A regularização pode ser útil se estivermos interessados apenas em estimar (e interpretar) os parâmetros do modelo, e não em previsão ou previsão? Vejo como a regularização / validação cruzada é extremamente útil se seu objetivo é fazer boas previsões sobre novos dados. Mas e se você estiver...
Eu tenho um conjunto de dados de 140000 exemplos e 30 recursos para os quais estou treinando vários classificadores para uma classificação binária (SVM, Regressão Logística, Floresta Aleatória etc.) Em muitos casos, o ajuste de hiperparâmetros em todo o conjunto de dados usando a pesquisa em grade...
Nos livros de texto e nas palestras do youtube, aprendi muito sobre modelos iterativos, como impulsionar, mas nunca vi nada sobre derivar um intervalo de previsão. A validação cruzada é usada para o seguinte: Seleção de modelo : experimente diferentes modelos e escolha o que melhor se adapta. No...
Estou ajustando um HLM Bayesiano no JAGS usando a validação cruzada em dobra k (k = 5). Gostaria de saber se as estimativas do parâmetro são estáveis em todas as dobras. Qual é a melhor forma de fazer isso?ββ\beta Uma idéia é encontrar as diferenças dos posteriores de e ver se 0 está no IC de...
Eu tenho um conjunto de dados com N ~ 5000 e faltando cerca de 1/2 em pelo menos uma variável importante. O principal método analítico serão os riscos proporcionais de Cox. Eu pretendo usar várias imputações. Também estarei me dividindo em um trem e um conjunto de testes. Devo dividir os dados e...
Eu sei que, para acessar o desempenho do classificador, tenho que dividir os dados em conjunto de treinamento / teste. Mas lendo isso : Ao avaliar configurações diferentes ("hiperparâmetros") para estimadores, como a configuração C que deve ser definida manualmente para um SVM, ainda existe o...