Métodos e princípios de seleção de um subconjunto de atributos para uso em modelagem adicional
Eu gostaria de implementar um algoritmo para seleção automática de modelo. Estou pensando em fazer regressão gradual, mas qualquer coisa serve (porém, deve ser baseada em regressões lineares). Meu problema é que não consigo encontrar uma metodologia ou uma implementação de código aberto (estou...
Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67,...
Eu tenho lido Elements of Statistical Learning e gostaria de saber por que o Lasso fornece seleção de variáveis e regressão de crista não. Ambos os métodos minimizam a soma residual dos quadrados e têm uma restrição nos possíveis valores dos parâmetros . Para o Lasso, a restrição é , enquanto no...
Estou ficando um pouco confuso sobre a seleção de recursos e o aprendizado de máquina e fiquei imaginando se você poderia me ajudar. Eu tenho um conjunto de dados de microarray que é classificado em dois grupos e possui milhares de recursos. Meu objetivo é obter um pequeno número de genes (meus...
Recentemente, tenho lido muito neste site (@Aniko, @Dikran Marsupial, @Erik) e em outros lugares sobre o problema de sobreajuste que ocorre com a validação cruzada - (Smialowski et al. 2010 Bioinformatics, Hastie, Elements of statistics learning). A sugestão é que qualquer seleção de recurso...
Esta pergunta foi feita no CV há alguns anos atrás, parece que vale a pena repensar à luz de 1) ordem de magnitude melhor tecnologia computacional (por exemplo, computação paralela, HPC etc) e 2) técnicas mais recentes, por exemplo [3]. Primeiro, algum contexto. Vamos supor que o objetivo não seja...
Pelo que sei, o uso do laço para seleção de variáveis lida com o problema de entradas correlacionadas. Além disso, como é equivalente à regressão de menor ângulo, não é lento computacionalmente. No entanto, muitas pessoas (por exemplo, pessoas que conheço fazendo bioestatística) ainda parecem...
Em que circunstâncias você deseja ou não deseja dimensionar ou padronizar uma variável antes do ajuste do modelo? E quais são as vantagens / desvantagens de escalar uma
fundo Estou fazendo pesquisa clínica em medicina e fiz vários cursos de estatística. Nunca publiquei um artigo usando regressão linear / logística e gostaria de fazer a seleção de variáveis corretamente. A interpretabilidade é importante, portanto, não há técnicas sofisticadas de aprendizado de...
Eu sou novo na seleção de recursos e estava pensando em como você usaria o PCA para executar a seleção de recursos. O PCA calcula uma pontuação relativa para cada variável de entrada que você pode usar para filtrar variáveis de entrada não informativas? Basicamente, desejo poder solicitar os...
Como a RF pode lidar com a não linearidade, mas não pode fornecer coeficientes, seria aconselhável usar a floresta aleatória para reunir os recursos mais importantes e depois conectá-los a um modelo de regressão linear múltipla para obter seus coeficientes?
Considero o problema da classificação (multiclasse) com base em séries temporais de comprimento variável , ou seja, para encontrar uma função através de uma representação global da série temporal por um conjunto de recursos selecionados de tamanho fixo independente de , e use métodos de...
Eu estou tentando interpretar os pesos variáveis dados ajustando um SVM linear. (Estou usando o scikit-learn ): from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ Não consigo encontrar nada na documentação que indique especificamente como esses pesos...
Desculpe se esta pergunta é um pouco básica. Eu estou procurando usar a seleção de variáveis do LASSO para um modelo de regressão linear múltipla em R. Eu tenho 15 preditores, um dos quais é categórico (isso causará um problema?). Após definir e , utilizo os seguintes comandos:yxxxyyy model =...
Eu sou um estudante de economia com alguma experiência com econometria e R. Eu gostaria de saber se existe alguma situação em que devemos incluir uma variável em uma regressão, apesar de não ser estatisticamente
Atualmente, estou trabalhando para construir um modelo usando uma regressão linear múltipla. Depois de mexer no meu modelo, não tenho certeza de como determinar melhor quais variáveis manter e quais remover. Meu modelo começou com 10 preditores para o DV. Ao usar todos os 10 preditores, quatro...
Como obter uma importância variável (atributo) usando o SVM?
Em um conjunto de dados de duas populações não sobrepostas (pacientes e saudáveis, total ), gostaria de encontrar (de variáveis independentes) preditores significativos para uma variável dependente contínua. Correlação entre preditores está presente. Estou interessado em descobrir se algum dos...
Procedimentos comuns de seleção de variáveis baseadas em dados (por exemplo, avançar, retroceder, passo a passo, todos os subconjuntos) tendem a gerar modelos com propriedades indesejáveis, incluindo: Coeficientes desviados de zero. Erros padrão muito pequenos e intervalos de confiança muito...
Qual é a seleção de variável / recurso que você prefere para a classificação binária quando há muito mais variáveis / recurso do que observações no conjunto de aprendizado? O objetivo aqui é discutir qual é o procedimento de seleção de recurso que reduz melhor o erro de classificação. Podemos...