Vantagens de fazer o “laço duplo” ou executar o laço duas vezes?

26

Certa vez, ouvi um método de usar o laço duas vezes (como um laço duplo) em que você executa o laço no conjunto original de variáveis, digamos S1, obtém um conjunto esparso chamado S2 e depois executa o laço novamente no conjunto S2 para obter o conjunto S3 . Existe um termo metodológico para isso? Além disso, quais são as vantagens de fazer o laço duas vezes?

Bstat
fonte

Respostas:

23

Sim, o procedimento que você está perguntando (ou pensando) é chamado de laço relaxado .

A idéia geral é que, no processo de execução do LASSO pela primeira vez, você provavelmente esteja incluindo "variáveis ​​de ruído"; executar o LASSO em um segundo conjunto de variáveis ​​(após o primeiro LASSO) oferece menos concorrência entre as variáveis ​​que são "concorrentes reais" para fazer parte do modelo e não apenas as variáveis ​​de "ruído". Tecnicamente, o que esse método visa é superar a convergência lenta (conhecida) do LASSO em conjuntos de dados com grande número de variáveis.

Você pode ler mais sobre isso no artigo original de Meinshausen (2007) .

Também recomendo a seção 3.8.5 sobre Elementos de aprendizagem estatística (Hastie, Tibshirani & Friedman, 2008) , que fornece uma visão geral de outros métodos muito interessantes para realizar a seleção de variáveis ​​usando o LASSO.

Néstor
fonte
Obrigado! Definitivamente vou analisar o artigo de Meinshausen.
Bstat 26/09/12
19

A idéia é separar os dois efeitos do laço

  1. β
  2. β

p>>n

A idéia do laço relaxado é que você separe os dois efeitos: você aplica uma penalidade alta no primeiro passe para selecionar variáveis; e uma penalidade menor no segundo passe para reduzi-los em uma quantidade menor.

O artigo original (conforme vinculado por Néstor) fornece mais detalhes.

luispedro
fonte