LASSO / LARS vs método geral a específico (GETS)

15

Fiquei me perguntando, por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção direta passo a passo (e, portanto, sofram da dependência do caminho)?

Da mesma forma, por que os métodos General to Specific (GETS) para seleção de modelos são ignorados principalmente, embora eles se saiam melhor que o LARS / LASSO porque não sofrem com o problema de regressão passo a passo? (referência básica para o GETS: http://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - o novo algoritmo começa com um amplo modelo e pesquisa em árvore que evita a dependência do caminho e foi mostrado para geralmente se saem melhor que LASSO / LARS).

Parece estranho, o LARS / LASSO parece ter muito mais exposição e citações do que o General to Specific (GETS), alguém tem alguma opinião?

Não tentando iniciar um debate acalorado, procurando mais uma explicação racional para o motivo pelo qual a literatura parece se concentrar no LASSO / LARS, em vez de no GETS, e poucas pessoas apontam deficiências do LASSO / LARS.

tortilla
fonte
O que você quer dizer com caminho dependente aqui? Além disso, há alguma referência mais autoritativa que você pode dar para o GETS? Eu não estou familiarizado com isso.
cardeal
Aqui está uma referência melhor e mais "autoritária" que também menciona Lasso: degruyter.com/view/j/jtse.2011.3.1/jtse.2011.3.1.1097/… .
tortilla
Também ia adicionar o que eu quis dizer: portanto, você adiciona regressores significativos um por um, mas essa abordagem não permite que você descarte um se, com base na correlação entre os regressores, um pode se tornar insignificante. Assim, uma vez adicionado, existe a dependência do caminho de que esse regressor agora esteja definido e não possa ser descartado. Não é esse o caso?
tortilla
11
É possível que as variáveis ​​caiam no meio do laço se o seu caminho do coeficiente cruzar zero ao longo do caminho. Você está familiarizado com o Efron et al. artigo original sobre LARS? Isso explica isso em detalhes consideráveis, com um sabor geométrico agradável.
cardeal
2
Eu acho que o Lasso é popular porque efetivamente relança o problema de seleção de modelos de um teste de hipóteses para um de estimativa de parâmetros.
probabilityislogic

Respostas:

2

Isenção de responsabilidade: Estou remotamente familiarizado com o trabalho de seleção de modelos de David F. Hendry, entre outros. Sei, no entanto, de colegas respeitados, que Hendry fez um progresso muito interessante nos problemas de seleção de modelos na econometria. Julgar se a literatura estatística não está prestando atenção suficiente ao seu trabalho na seleção de modelos exigiria muito mais trabalho da minha parte.

No entanto, é interessante tentar entender por que um método ou idéia gera muito mais atividade do que outros. Sem dúvida, também existem aspectos da moda na ciência. A meu ver, o laço (e amigos) tem uma grande vantagem de ser a solução de um problema de otimização muito facilmente expresso. Isso é essencial para o entendimento teórico detalhado da solução e os algoritmos eficientes desenvolvidos. O livro recente, Statistics for High-Dimensional Data, de Bühlmann e Van De Geer, ilustra o quanto já se sabe sobre o laço.

É possível realizar estudos de simulação sem fim e, é claro, aplicar os métodos que considerar mais relevantes e adequados para uma aplicação específica, mas para partes da literatura estatística também devem ser obtidos resultados teóricos substanciais. Esse laço gerou muita atividade reflete que existem questões teóricas que podem ser realmente abordadas e que têm soluções interessantes.

Outro ponto é que laço ou variações não um bom desempenho em muitos casos. Simplesmente não estou convencido de que esteja correto que o laço seja tão facilmente superado por outros métodos quanto o OP sugere. Talvez em termos de seleção de modelo (artificial), mas não em termos de desempenho preditivo. Nenhuma das referências mencionadas parece realmente comparar Gets e laço.

NRH
fonte
2

por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção progressiva

Há uma diferença entre a seleção de subconjuntos LASSO e (GETS): o LASSO reduz os coeficientes para zero de uma maneira dependente de dados, enquanto a seleção de subconjuntos (GETS) não. Isso parece ser uma vantagem da seleção de subconjuntos do LASSO sobre (GETS), mesmo que ocasionalmente possa falhar (ele precisa de ajuste de parâmetros, o que normalmente é feito via validação cruzada e, ocasionalmente, pode ser que o ajuste seja fraco).

(GETS) métodos <...> fazem melhor que LARS / LASSO

O desempenho do GETS parece ser de qualidade comparável ao LASSO quando realizado por pesquisadores imparciais (?) (Embora não necessariamente nos documentos em que uma nova versão do GETS é proposta - mas é isso que você esperaria); veja algumas referências neste tópico .

Talvez a Sir Hendry & Co esteja obtendo bons resultados usando o GETS devido às especificidades de suas aplicações (principalmente modelagem de séries temporais macroeconômicas)? Mas por que poderia ser isso? Esta é uma pergunta separada .

Richard Hardy
fonte