Temos um conjunto de amostras biológicas bastante caras de obter. Colocamos essas amostras em uma série de testes para gerar dados usados para a construção de um modelo preditivo. Para esse fim, dividimos as amostras em conjuntos de treinamento (70%) e teste (30%). Criamos com sucesso um modelo e...
Eu tive uma entrevista de emprego para uma posição de ciência de dados. Durante a entrevista, perguntaram-me o que devo fazer para garantir que o modelo não seja ajustado demais. Minha primeira resposta foi usar a validação cruzada para avaliar o desempenho do modelo. No entanto, o entrevistador...
Meu colega e eu estamos ajustando uma variedade de modelos de efeitos mistos lineares e não-lineares em R. Somos solicitados a realizar validação cruzada nos modelos ajustados, para que se possa verificar se os efeitos observados são relativamente generalizáveis. Normalmente, essa é uma tarefa...
Eu rotulei dados compostos por 10000 exemplos positivos e 50000 exemplos negativos, fornecendo um total de 60000 exemplos. Obviamente esses dados estão desequilibrados. Agora, digamos que quero criar meu conjunto de validação e quero usar 10% dos meus dados para fazer isso. Minha pergunta é a...
Estou usando 2 tipos de regressão logística - um é o tipo simples, para classificação binária, e o outro é regressão logística ordinal. Para calcular a precisão do primeiro, usei a validação cruzada, onde calculei a AUC para cada dobra e calculei a AUC média. Como posso fazer isso para a regressão...
Nos mínimos quadrados comuns, regredindo um vetor alvo contra um conjunto de preditores , a matriz de chapéu é calculada comoyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t e a PRESS (soma residual prevista dos quadrados) é calculada por SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left(...
Eu tenho uma pergunta sobre seleção de modelos e desempenho de modelos em regressão logística. Eu tenho três modelos que são baseados em três hipóteses diferentes. Os dois primeiros modelos (vamos chamá-los de zex) têm apenas uma variável explicativa em cada modelo, e o terceiro (vamos chamá-lo de...
Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências observadas dos meus quatro eventos (18), posso calcular as...
Estou treinando um classificador binário SVM usando o Scikit learn. Devido à natureza do meu problema, preciso evitar falsos negativos. Como nada é gratuito, estou bem em obter uma taxa mais alta de falsos positivos, a fim de reduzir o número de falsos negativos. Como podemos fazer isso...
Talvez essa seja uma pergunta tola, mas, ao gerar um modelo com sinal de intercalação e usar algo como LOOCVou (ainda mais direto ao ponto) LGOCV, qual é o benefício de dividir dados em conjuntos de trens e testes, se é basicamente isso que a etapa de validação cruzada faz assim mesmo? Eu li...
Estou implementando validação cruzada e calculando métricas de erro como RMSE, , MAE, MSE, etc.R2R2R^2 RMSE e MAE podem ter o mesmo
Percebo que existem 3 parâmetros de ajuste no modelo de árvores de reforço, ou seja, o número de árvores (número de iterações) parâmetro de encolhimento número de divisões (tamanho de cada árvore constituinte) Minha pergunta é: para cada um dos parâmetros de ajuste, como devo encontrar seu...
Suponha que, em uma análise de regressão em R, eu tenha uma variável independente do tipo de fator com 3 níveis no meu conjunto de dados de trem. Mas no conjunto de dados de teste essa mesma variável de fator tem 5 níveis. Portanto, não posso prever os valores de resposta para o conjunto de dados...
Na Floresta Aleatória, cada árvore é cultivada em paralelo em uma amostra exclusiva dos dados. Como se espera que cada amostra do boostrap contenha cerca de 63% das observações exclusivas, isso deixa cerca de 37% das observações de fora, que podem ser usadas para testar a árvore. Agora, parece que...
Eu tenho alguns modelos preditivos cujo desempenho eu gostaria de testar novamente (ou seja, levar meu conjunto de dados, "rebobinar" para um ponto anterior no tempo e ver como o modelo teria um desempenho prospectivo). O problema é que alguns dos meus modelos foram criados através de um processo...
A função R cv.glm (library: boot) calcula o erro de previsão de validação cruzada estimado em dobras K para modelos lineares generalizados e retorna delta. Faz sentido usar essa função para uma regressão do laço (library: glmnet) e, em caso afirmativo, como pode ser realizada? A biblioteca glmnet...
Ao usar o CV com dobra k para selecionar entre os modelos de regressão, geralmente calculo o erro CV separadamente para cada modelo, juntamente com o erro padrão SE, e seleciono o modelo mais simples dentro de 1 SE do modelo com o menor erro CV (o 1 regra de erro padrão, veja, por exemplo, aqui )....
Li os classificadores algébricos: uma abordagem genérica para validação cruzada rápida, treinamento on-line e paralelo e fiquei impressionado com o desempenho dos algoritmos derivados. No entanto, parece que além de Naive Bayes (e GBMs) não existem muitos algoritmos adaptados à estrutura. Existem...
A AIC é frequentemente recomendado como critério para comparar modelos para previsão de séries temporais. Veja, por exemplo, isso no contexto de modelos de regressão dinâmica : O AIC pode ser calculado para o modelo final e esse valor pode ser usado para determinar os melhores preditores. Ou...
Entendo o conceito de validação cruzada com dobras k , mas não entendo o que significa "dobra". Citando a partir da página vinculada na wikipedia: O processo de validação cruzada é repetido k vezes (as dobras) Isso parece muito vago. A 'dobra' se refere a cada repetição do processo? Ou é um...