Ao tentar selecionar entre vários modelos ou o número de recursos a serem incluídos, digamos previsão, posso pensar em duas abordagens. Divida os dados em conjuntos de treinamento e teste. Melhor ainda, use bootstrapping ou validação cruzada k-fold. Treine sempre no conjunto de treinamento e...
Em seu artigo Seleção de modelo linear por validação cruzada , Jun Shao mostra que, para o problema de seleção de variáveis na regressão linear multivariada, o método de validação cruzada de sobreaquecimento (LOOCV) é 'assintoticamente inconsistente'. Em inglês simples, ele tende a selecionar...
Como os modelos de efeitos mistos (lineares) são normalmente comparados entre si? Eu sei que testes de razão de verossimilhança podem ser usados, mas isso não funciona se um modelo não for um 'subconjunto' do outro correto? A estimativa dos modelos df é sempre direta? Número de efeitos fixos +...
Introdução: Eu tenho um conjunto de dados com um clássico "grande p, pequeno n problema". O número de amostras disponíveis n = 150, enquanto o número de possíveis preditores p = 400. O resultado é uma variável contínua. Eu quero encontrar os descritores mais "importantes", ou seja, aqueles que...
Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist,...
Eu tenho lido sobre a validação do k-fold e quero ter certeza de que entendi como isso funciona. Eu sei que, para o método de validação, os dados são divididos em três conjuntos, e o conjunto de teste é usado apenas no final para avaliar o desempenho do modelo, enquanto o conjunto de validação é...
Nota: O caso é n >> p Estou lendo Elementos de aprendizagem estatística e há várias menções sobre a maneira "correta" de fazer a validação cruzada (por exemplo, página 60, página 245). Especificamente, minha pergunta é como avaliar o modelo final (sem um conjunto de testes separado) usando o...
O meu entendimento é que, mesmo quando seguindo procedimentos transversais adequados de seleção de validação e modelo, overfitting vai acontecer se um pesquisas para um modelo com força suficiente , a menos que restrições impõe a complexidade do modelo, período. Além disso, muitas vezes as pessoas...
Fiz uma validação cruzada de 10 vezes em diferentes algoritmos de classificação binária, com o mesmo conjunto de dados e recebi os resultados médios de Micro e Macro. Deve-se mencionar que esse era um problema de classificação de vários rótulos. No meu caso, verdadeiros negativos e verdadeiros...
Gostaria de saber se existem / algumas vantagens em usar amostragem estratificada em vez de aleatória, ao dividir o conjunto de dados original em conjunto de treinamento e teste para classificação. Além disso, a amostragem estratificada introduz mais viés no classificador do que a amostragem...
O caretpacote R é validado cruzadamente sobre alphae lambdapara o glmnetmodelo? Executando esse código, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y...
Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando...
Estou confuso sobre como particionar os dados para validação cruzada k-fold do aprendizado de conjuntos. Supondo que eu tenha uma estrutura de aprendizado de conjuntos para classificação. Minha primeira camada contém os modelos de classificação, por exemplo, svm, árvores de decisão. Minha segunda...
Dediquei muito tempo ao desenvolvimento de métodos e softwares para validar modelos preditivos no domínio estatístico freqüentista tradicional. Ao colocar mais idéias bayesianas em prática e ensinar, vejo algumas diferenças importantes a serem adotadas. Primeiro, a modelagem preditiva bayesiana...
Sei que executar o ajuste de hiperparâmetros fora da validação cruzada pode levar a estimativas enviesadas de validade externa, porque o conjunto de dados que você usa para medir o desempenho é o mesmo usado para ajustar os recursos. O que eu quero saber é o quão ruim é esse problema . Eu posso...
Estou testando diferentes classificadores em um conjunto de dados em que há 5 classes e cada instância pode pertencer a uma ou mais dessas classes; portanto, estou usando especificamente os classificadores de várias etiquetas do scikit-learn sklearn.multiclass.OneVsRestClassifier. Agora eu quero...
Estou usando libsvm no modo C-SVC com um kernel polinomial de grau 2 e sou obrigado a treinar vários SVMs. Cada conjunto de treinamento possui 10 recursos e 5000 vetores. Durante o treinamento, recebo este aviso para a maioria dos SVMs que treino: WARNING: reaching max number of...
Duas abordagens comuns para a seleção de variáveis correlacionadas são testes de significância e validação cruzada. Que problema cada um tenta resolver e quando eu preferiria um ao
Dado um modelo hierárquico , quero um processo de dois estágios para se ajustar ao modelo. Primeiro, corrija um punhado de hiperparâmetros e, em seguida, faça inferência bayesiana no restante dos parâmetros . Para fixar os hiperparâmetros, estou considerando duas
Estou ajustando um HLM Bayesiano no JAGS usando a validação cruzada em dobra k (k = 5). Gostaria de saber se as estimativas do parâmetro são estáveis em todas as dobras. Qual é a melhor forma de fazer isso?ββ\beta Uma idéia é encontrar as diferenças dos posteriores de e ver se 0 está no IC de...