A seleção de modelos é um problema de julgar qual modelo de algum conjunto apresenta o melhor desempenho. Os métodos populares incluem R 2 R2 , Critérios AIC e BIC, conjuntos de testes e validação cruzada. Até certo ponto, a seleção de recursos é um subproblema da seleção de modelos.
Existe um método padrão e aceito para selecionar o número de camadas e o número de nós em cada camada em uma rede neural feed-forward? Estou interessado em maneiras automatizadas de construir redes
O AIC e o BIC são os dois métodos de avaliação do ajuste do modelo penalizados pelo número de parâmetros estimados. Pelo que entendi, o BIC penaliza mais os modelos por parâmetros livres do que o AIC. Além de uma preferência baseada no rigor dos critérios, existem outros motivos para preferir a AIC...
Imagine um cenário padrão de aprendizado de máquina: Você é confrontado com um grande conjunto de dados multivariado e tem uma compreensão bastante embaçada dele. O que você precisa fazer é fazer previsões sobre alguma variável com base no que você tem. Como de costume, você limpa os dados,...
Eu gostaria de implementar um algoritmo para seleção automática de modelo. Estou pensando em fazer regressão gradual, mas qualquer coisa serve (porém, deve ser baseada em regressões lineares). Meu problema é que não consigo encontrar uma metodologia ou uma implementação de código aberto (estou...
Eu estou querendo saber como escolher um modelo preditivo depois de fazer a validação cruzada K-fold. Isso pode ser redigido de maneira desajeitada, então deixe-me explicar com mais detalhes: sempre que executo a validação cruzada K-fold, uso K subconjuntos dos dados de treinamento e termino com...
É sempre uma boa ideia treinar com o conjunto de dados completo após a validação cruzada ? Dito de outra forma, é correto treinar com todas as amostras no meu conjunto de dados e não poder verificar se esse acessório específico se encaixa demais ? Alguns antecedentes sobre o problema: Digamos...
A frase p- hacking (também: "dragagem de dados" , "espionagem" ou "pesca") refere-se a vários tipos de negligência estatística nas quais os resultados se tornam artificialmente estatisticamente significativos. Existem várias maneiras de obter um resultado "mais significativo", incluindo, mas de...
Como alguém pode usar validação cruzada aninhada para seleção de modelo ? Pelo que li online, o CV aninhado funciona da seguinte maneira: Existe o loop interno do CV, no qual podemos realizar uma pesquisa na grade (por exemplo, executando a dobra K para todos os modelos disponíveis, por exemplo,...
Ao resolver problemas de negócios usando dados, é comum que pelo menos uma suposição de que a subclasse de estatísticas clássicas seja inválida. Na maioria das vezes, ninguém se incomoda em verificar essas suposições para que você nunca saiba. Por exemplo, que muitas das métricas comuns da Web são...
Eu tenho um conjunto de dados com cerca de 30 variáveis independentes e gostaria de construir um modelo linear generalizado (GLM) para explorar o relacionamento entre elas e a variável dependente. Estou ciente de que o método que me foi ensinado para essa situação, a regressão gradual, agora é...
Esta pergunta foi feita no CV há alguns anos atrás, parece que vale a pena repensar à luz de 1) ordem de magnitude melhor tecnologia computacional (por exemplo, computação paralela, HPC etc) e 2) técnicas mais recentes, por exemplo [3]. Primeiro, algum contexto. Vamos supor que o objetivo não seja...
Quando você está tentando ajustar modelos a um grande conjunto de dados, o conselho comum é particionar os dados em três partes: o conjunto de dados de treinamento, validação e teste. Isso ocorre porque os modelos geralmente têm três "níveis" de parâmetros: o primeiro "parâmetro" é a classe do...
fundo Estou fazendo pesquisa clínica em medicina e fiz vários cursos de estatística. Nunca publiquei um artigo usando regressão linear / logística e gostaria de fazer a seleção de variáveis corretamente. A interpretabilidade é importante, portanto, não há técnicas sofisticadas de aprendizado de...
Na p. Brian Ripley, 34 de seu PRNN, comenta que "A AIC foi nomeada por Akaike (1974) como 'Um critério de informação', embora pareça comum acreditar que o A representa Akaike". De fato, ao introduzir a estatística da AIC, Akaike (1974, p.719) explica que "IC stands for information criterion and A...
Em deste artigo intitulado "escolhendo entre lineares generalizados modelos aplicados a médico de dados", escrevem os autores: Em um modelo linear generalizado, a média é transformada pela função de link, em vez de transformar a própria resposta. Os dois métodos de transformação podem levar a...
Existem estudos empíricos que justifiquem o uso da regra de erro padrão em favor da parcimônia? Obviamente, depende do processo de geração de dados, mas qualquer coisa que analise um grande conjunto de conjuntos de dados seria uma leitura muito interessante. A "regra de erro padrão" é aplicada...
Eu calculei o AIC e o AICc para comparar dois modelos mistos lineares gerais; Os AICs são positivos, com o modelo 1 tendo um AIC menor que o modelo 2. No entanto, os valores do AICc são ambos negativos (o modelo 1 ainda é <modelo 2). É válido usar e comparar valores negativos de...
Ao usar a validação cruzada para fazer a seleção do modelo (como por exemplo, ajuste de hiperparâmetro) e avaliar o desempenho do melhor modelo, deve-se usar a validação cruzada aninhada . O loop externo é para avaliar o desempenho do modelo, e o loop interno é para selecionar o melhor modelo; o...
Atualmente, estou trabalhando para construir um modelo usando uma regressão linear múltipla. Depois de mexer no meu modelo, não tenho certeza de como determinar melhor quais variáveis manter e quais remover. Meu modelo começou com 10 preditores para o DV. Ao usar todos os 10 preditores, quatro...
Existem vários threads no CrossValidated no tópico seleção de modelo e validação cruzada. Aqui estão alguns: Validação cruzada interna x externa e seleção de modelo A melhor resposta de @ DikranMarsupial para Seleção de recursos e validação cruzada No entanto, as respostas para esses...