Existem vários threads no CrossValidated no tópico seleção de modelo e validação cruzada. Aqui estão alguns: Validação cruzada interna x externa e seleção de modelo A melhor resposta de @ DikranMarsupial para Seleção de recursos e validação cruzada No entanto, as respostas para esses...
Por que um procedimento de validação cruzada supera o problema de sobreajustar um
Estou curioso sobre procedimentos repetitivos que podem ser usados para descobrir a forma funcional da função y = f(A, B, C) + error_termonde minha única entrada é um conjunto de observações ( y, A, Be C). Observe que a forma funcional de fé desconhecida. Considere o seguinte conjunto de...
Entendo qual é a distribuição preditiva posterior e tenho lido sobre verificações preditivas posteriores , embora ainda não esteja claro o que ela faz. O que exatamente é a verificação preditiva posterior? Por que alguns autores dizem que a execução de verificações preditivas posteriores está...
Normalmente, uso o BIC, pois entendo que ele valoriza a parcimônia mais fortemente do que o AIC. No entanto, eu decidi usar uma abordagem mais abrangente agora e gostaria de usar a AIC também. Eu sei que Raftery (1995) apresentou boas diretrizes para diferenças de BIC: 0-2 é fraco, 2-4 é evidência...
Recentemente, me deparei com um artigo que propõe o uso de um classificador k-NN em um conjunto de dados específico. Os autores usaram todas as amostras de dados disponíveis para realizar a validação cruzada de dobras k para diferentes valores de k e relatam os resultados da validação cruzada da...
Apenas um pensamento: Os modelos parcimoniosos sempre foram a opção padrão na seleção de modelos, mas em que grau essa abordagem está desatualizada? Estou curioso sobre o quanto nossa tendência à parcimônia é uma relíquia de um tempo de regras abac e deslizantes (ou, mais seriamente, computadores...
É possível calcular valores de AIC ou BIC para modelos de regressão de laço e outros modelos regularizados em que os parâmetros estão inserindo apenas parcialmente a equação. Como se determina os graus de liberdade? Estou usando R para ajustar modelos de regressão de laço com a glmnet()função do...
Para o LASSO (e outros procedimentos de seleção de modelo), é crucial redimensionar os preditores. A recomendação geral que sigo é simplesmente usar uma média de 0, 1 normalização de desvio padrão para variáveis contínuas. Mas o que há com manequins? Por exemplo, alguns exemplos aplicados da...
Como você escolhe um modelo dentre os diferentes modelos escolhidos por diferentes métodos (por exemplo, seleção anterior ou posterior)? Além disso, o que é um modelo
Ao construir um modelo CART (especificamente árvore de classificação) usando rpart (em R), geralmente é interessante saber qual é a importância das várias variáveis introduzidas no modelo. Assim, minha pergunta é: Que medidas comuns existem para classificar / medir a importância das variáveis...
Estou usando o AIC (critério de informações de Akaike) para comparar modelos não lineares em R. É válido comparar os AICs de diferentes tipos de modelo? Especificamente, estou comparando um modelo ajustado pelo glm versus um modelo com um termo de efeito aleatório ajustado pelo glmer (lme4). Caso...
Estou refletindo sobre a discussão em torno desta questão e, em particular, o comentário de Frank Harrell de que a estimativa de variação em um modelo reduzido (ou seja, do qual várias variáveis explicativas foram testadas e rejeitadas) deve usar os graus de liberdade generalizados de Ye . O...
Quais são exatamente os pré-requisitos que precisam ser atendidos para que a comparação do modelo da AIC funcione? Acabei de contornar esta questão quando fiz uma comparação como esta: > uu0 = lm(log(usili) ~ rok) > uu1 = lm(usili ~ rok) > AIC(uu0) [1] 3192.14 > AIC(uu1) [1]...
Fiquei imaginando como os bayesianos da comunidade CrossValidated veem o problema da incerteza do modelo e como preferem lidar com isso. Vou tentar colocar minha pergunta em duas partes: Qual a importância (na sua experiência / opinião) é lidar com a incerteza do modelo? Não encontrei nenhum...
Atualmente, estou em um projeto em que basicamente preciso, como todos nós, entender como a saída está relacionada à entrada . A particularidade aqui é que os dados são fornecidos para mim uma peça de cada vez, portanto, desejo atualizar minha análise sempre que receber um novo . Acredito que isso...
Tenho um problema ao adotar os benefícios de rotular um fator de modelo como aleatório por alguns motivos. Para mim, parece que em quase todos os casos a solução ideal é tratar todos os fatores como fixos. Primeiro, a distinção entre fixo e aleatório é bastante arbitrária. A explicação padrão é...
No famoso artigo de 1938 (" A distribuição de grandes amostras da razão de verossimilhança para testar hipóteses compostas ", Annals of Mathematics Statistics, 9: 60-62), Samuel Wilks derivou a distribuição assintótica de 2×LLR2×LLR2 \times LLR (razão de verossimilhança logarítmica ) para hipóteses...
Estou trabalhando em um projeto no qual desejo extrair algumas informações sobre o conteúdo de uma série de ensaios abertos. Nesse projeto em particular, 148 pessoas escreveram ensaios sobre uma organização hipotética de estudantes como parte de um experimento maior. Embora no meu campo (psicologia...
Estou interessado na seleção de modelos em uma configuração de série temporal. Por concretude, suponha que eu queira selecionar um modelo ARMA de um conjunto de modelos ARMA com diferentes ordens de atraso. A intenção final é a previsão . A seleção do modelo pode ser feita por validação...