Fiquei me perguntando, por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção direta passo a passo (e, portanto, sofram da dependência do caminho)?
Da mesma forma, por que os métodos General to Specific (GETS) para seleção de modelos são ignorados principalmente, embora eles se saiam melhor que o LARS / LASSO porque não sofrem com o problema de regressão passo a passo? (referência básica para o GETS: http://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - o novo algoritmo começa com um amplo modelo e pesquisa em árvore que evita a dependência do caminho e foi mostrado para geralmente se saem melhor que LASSO / LARS).
Parece estranho, o LARS / LASSO parece ter muito mais exposição e citações do que o General to Specific (GETS), alguém tem alguma opinião?
Não tentando iniciar um debate acalorado, procurando mais uma explicação racional para o motivo pelo qual a literatura parece se concentrar no LASSO / LARS, em vez de no GETS, e poucas pessoas apontam deficiências do LASSO / LARS.
Respostas:
Isenção de responsabilidade: Estou remotamente familiarizado com o trabalho de seleção de modelos de David F. Hendry, entre outros. Sei, no entanto, de colegas respeitados, que Hendry fez um progresso muito interessante nos problemas de seleção de modelos na econometria. Julgar se a literatura estatística não está prestando atenção suficiente ao seu trabalho na seleção de modelos exigiria muito mais trabalho da minha parte.
No entanto, é interessante tentar entender por que um método ou idéia gera muito mais atividade do que outros. Sem dúvida, também existem aspectos da moda na ciência. A meu ver, o laço (e amigos) tem uma grande vantagem de ser a solução de um problema de otimização muito facilmente expresso. Isso é essencial para o entendimento teórico detalhado da solução e os algoritmos eficientes desenvolvidos. O livro recente, Statistics for High-Dimensional Data, de Bühlmann e Van De Geer, ilustra o quanto já se sabe sobre o laço.
É possível realizar estudos de simulação sem fim e, é claro, aplicar os métodos que considerar mais relevantes e adequados para uma aplicação específica, mas para partes da literatura estatística também devem ser obtidos resultados teóricos substanciais. Esse laço gerou muita atividade reflete que existem questões teóricas que podem ser realmente abordadas e que têm soluções interessantes.
Outro ponto é que laço ou variações não um bom desempenho em muitos casos. Simplesmente não estou convencido de que esteja correto que o laço seja tão facilmente superado por outros métodos quanto o OP sugere. Talvez em termos de seleção de modelo (artificial), mas não em termos de desempenho preditivo. Nenhuma das referências mencionadas parece realmente comparar Gets e laço.
fonte
Há uma diferença entre a seleção de subconjuntos LASSO e (GETS): o LASSO reduz os coeficientes para zero de uma maneira dependente de dados, enquanto a seleção de subconjuntos (GETS) não. Isso parece ser uma vantagem da seleção de subconjuntos do LASSO sobre (GETS), mesmo que ocasionalmente possa falhar (ele precisa de ajuste de parâmetros, o que normalmente é feito via validação cruzada e, ocasionalmente, pode ser que o ajuste seja fraco).
O desempenho do GETS parece ser de qualidade comparável ao LASSO quando realizado por pesquisadores imparciais (?) (Embora não necessariamente nos documentos em que uma nova versão do GETS é proposta - mas é isso que você esperaria); veja algumas referências neste tópico .
Talvez a Sir Hendry & Co esteja obtendo bons resultados usando o GETS devido às especificidades de suas aplicações (principalmente modelagem de séries temporais macroeconômicas)? Mas por que poderia ser isso? Esta é uma pergunta separada .
fonte