Meu entendimento geral é que a AIC lida com o compromisso entre a qualidade do ajuste do modelo e a complexidade do modelo. A IC= 2 k - 2 l n ( L )UMAEuC=2k-2eun(eu)AIC =2k -2ln(L) kkk = número de parâmetros no modelo eueuL = probabilidade O critério de informação bayesiano BIC está intimamente...
Acho que entendo como os fundamentos do bootstrap funcionam, mas não tenho certeza se entendo como posso usar o bootstrap para a seleção de modelos ou para evitar ajustes excessivos. Para a seleção de modelos, por exemplo, você escolheria o modelo que produz o menor erro (talvez variância?) Nas...
Quando avaliamos a qualidade de uma floresta aleatória, por exemplo, usando AUC, é mais apropriado calcular essas quantidades nas amostras fora da bolsa ou no conjunto de validação cruzada de espera? Ouvi dizer que calculá-lo sobre as amostras OOB oferece uma avaliação mais pessimista, mas não...
Alguém pode me explicar meu modelo de Cox em inglês simples? Eu ajustei o seguinte modelo de regressão de Cox em todos os meus dados usando a cphfunção Meus dados são salvos em um objeto chamado Data. As variáveis w, xe ysão contínuos; zé um fator de dois níveis. O tempo é medido em meses. Alguns...
Parece haver conselhos conflitantes por aí sobre como lidar com a comparação de erro de teste de trem versus teste, principalmente quando há uma lacuna entre os dois. Parece haver duas escolas de pensamento que, para mim, parecem conflitar. Estou procurando entender como conciliar os dois (ou...
Estou usando o scikit-learn para executar uma regressão logística com validação cruzada em um conjunto de dados (cerca de 14 parâmetros com> 7000 observações normalizadas). Eu também tenho um classificador de destino que tem um valor de 1 ou 0. O problema que tenho é que, independentemente do...
Ao executar a validação cruzada de dobras k, entendo que você obtém as métricas de precisão apontando todas as dobras, exceto uma nessa dobra, e fazendo previsões, e repita esse processo vezes. Você pode executar métricas de precisão em todas as suas instâncias (precisão, recall,% classificada...
Normalmente, em regressão logística, ajustamos um modelo e obtemos algumas previsões sobre o conjunto de treinamento. Em seguida, validamos cruzadamente essas previsões de treinamento (algo como aqui ) e decidimos o valor do limite ideal com base em algo como a curva ROC. Por que não incorporamos...
Estou tentando escrever minha própria função para análise de componentes principais, o PCA (é claro que já há muito escrito, mas estou interessado apenas em implementar coisas sozinho). O principal problema que encontrei é a etapa de validação cruzada e o cálculo da soma prevista dos quadrados...
Acabei de terminar "Uma Introdução à Aprendizagem Estatística" . Perguntei-me se o uso da validação cruzada para encontrar os melhores parâmetros de ajuste para várias técnicas de aprendizado de máquina é diferente da espionagem de dados. Estamos verificando repetidamente qual valor do parâmetro...
Estou tentando entender a validação cruzada para regressão logística ordinal. O objetivo do jogo é validar o modelo usado em uma análise ... Primeiro construo um conjunto de dados de brinquedo: set.seed(1) N <- 10000 # predictors x1 <- runif(N) x2 <- runif(N) x3 <- runif(N) # coeffs...
Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes...
A questão: o bootstrapping é superior ao jackknifing; no entanto, estou me perguntando se há casos em que o jackknifing é a única ou pelo menos uma opção viável para caracterizar a incerteza das estimativas de parâmetros. Além disso, em situações práticas, o quão tendencioso / impreciso é o...
Tenho uma pergunta sobre a otimização de parâmetros quando uso a validação cruzada de 10 vezes. Quero perguntar se os parâmetros devem ser corrigidos ou não durante o treinamento do modelo de cada dobra, ou seja, (1) selecione um conjunto de parâmetros otimizados para a precisão média de cada...
Eu configurei uma pesquisa de grade para um monte de parâmetros. Estou tentando encontrar os melhores parâmetros para uma rede neural de Keras que faz classificação binária. A saída é 1 ou 0. Existem cerca de 200 recursos. Quando fiz uma pesquisa na grade, recebi vários modelos e seus parâmetros. O...
Atualmente, estou tentando analisar um conjunto de dados de documento de texto que não tem nenhuma verdade. Disseram-me que você pode usar a validação cruzada k-fold para comparar diferentes métodos de armazenamento em cluster. No entanto, os exemplos que eu vi no passado usam uma verdade básica....
Quais são as maneiras de escolher qual kernel resultaria em boa separação de dados na saída final de dados pelo kernel PCA (análise de componentes principais) e quais são as maneiras de otimizar os parâmetros do kernel? Os termos de Layman, se possível, seriam muito apreciados, e links para...
Para minha pesquisa atual, estou usando o método Lasso através do pacote glmnet em R em uma variável dependente binomial. No glmnet, o lambda ideal é encontrado via validação cruzada e os modelos resultantes podem ser comparados com várias medidas, por exemplo, erro de classificação incorreta ou...
Existe alguma interpretação Bayesiana, ML ou MDL de validação cruzada? Posso interpretar a validação cruzada como executando a atualização correta em um anterior especificamente
Estou trabalhando em um problema de classificação que calcula uma métrica de similaridade entre duas imagens de raios-x de entrada. Se as imagens forem da mesma pessoa (rótulo de 'right'), uma métrica maior será calculada; imagens de entrada de duas pessoas diferentes (rótulo de 'errado')...