Melhores métodos de seleção de recursos para regressão não paramétrica

10

Uma pergunta para iniciantes aqui. Atualmente, estou realizando uma regressão não paramétrica usando o pacote np em R. Eu tenho 7 recursos e, usando uma abordagem de força bruta, identifiquei os melhores 3. Mas, em breve, terei muitos mais do que 7 recursos!

Minha pergunta é quais são os melhores métodos atuais para seleção de recursos para regressão não paramétrica. E quais pacotes, se houver, implementam os métodos. Obrigado.

jmmcnew
fonte
11
o que você quer dizer com "muito mais" 100? 1000? 10000? 100000?
robin Girard
Provavelmente terei da ordem de 100 recursos. Mas tenho apenas alguns minutos para decidir sobre o melhor subconjunto de recursos.
jmmcnew
11
Você já tentou laço ou rede elástica? pacotes: laço, glmnet. Esses métodos podem "selecionar" algumas variáveis ​​em movimento.
deps_stats

Respostas:

3

A menos que a identificação das variáveis ​​mais relevantes seja um objetivo principal da análise, geralmente é melhor não fazer nenhuma seleção de recurso e usar a regularização para evitar ajustes excessivos. A seleção de recursos é um procedimento complicado e é muito fácil ajustar demais o critério de seleção de recursos, pois existem muitos graus de liberdade. O LASSO e a rede elástica são um bom compromisso, alcançam a escassez por meio da regularização, e não por meio da seleção direta de recursos, portanto, eles são menos propensos a essa forma específica de ajuste excessivo.

Dikran Marsupial
fonte
0

Lasso é realmente uma boa. Coisas simples como começar com nenhuma e adicioná-las uma a uma classificadas em 'utilidade' (via validação cruzada) também funcionam muito bem na prática. Às vezes, isso é chamado seleção de feedforward estático.

Observe que o problema de seleção de subconjuntos é bastante independente do tipo de classificação / regressão. Os métodos não paramétricos podem ser lentos e, portanto, requerem métodos de seleção mais inteligentes.

O livro 'Os elementos do aprendizado estatístico' de T. Hastie fornece uma boa visão geral.

Sr. White
fonte