Por que usar laço de grupo em vez de laço?

Eu li que o laço de grupo é usado para seleção de variáveis ​​e esparsidade em um grupo de variáveis. Eu quero saber a intuição por trás dessa afirmação.

• Por que o laço de grupo é preferível ao laço?
• Por que o caminho da solução do laço de grupo não é linear por partes?

Intuitivamente, o laço do grupo pode ser preferido ao laço, pois fornece um meio para incorporar (um certo tipo de) informações adicionais em nossa estimativa para o verdadeiro coeficiente . Como cenário extremo, considerando o seguinte:$\beta^*$

Com , coloque S = { j : β ∗ j ≠ 0 } como suporte de β ∗ . Considere o "Oracle" estimador β = arg min β ‖ y - X β ‖ 2 2 + λ ( | S | 1 / 2 ‖ β S $y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$$S = \{j : \beta^*_j \neq 0 \}$$\beta^*$ que é o grupo lasso com dois grupos - um o verdadeiro suporte e um complemento. Deixe λ m um x ser o menor valor de λ que faz β = 0 . Devido à natureza da penalidade do laço do grupo, sabemos que em λ se move de λ m a x para λ m a x -

$$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$$ $\lambda_{max}$$\lambda$$\hat{\beta} = 0$$\lambda$$\lambda_{max}$$\lambda_{max} - \epsilon$(para alguns pequenos ), exactamente um grupo entrará em suporte de β , que é popularmente considerado como uma estimativa para S . Devido ao nosso agrupamento, com alta probabilidade, o grupo selecionado será S , e teremos feito um trabalho perfeito.$\epsilon > 0$$\hat{\beta}$$S$$S$

Na prática, não selecionamos os grupos tão bem. No entanto, os grupos, apesar de serem mais refinados do que o cenário extremo acima, ainda nos ajudarão: a escolha ainda seria feita entre um grupo de covariáveis ​​verdadeiras e um grupo de covariáveis ​​falsas. Ainda estamos pegando força emprestada.

Isso é formalizado aqui . Eles mostram, sob algumas condições, que o limite superior do erro de previsão do laço do grupo é menor que o limite inferior do erro de previsão do laço simples. Ou seja, eles provaram que o agrupamento melhora nossa estimativa.

$L(\beta) = \|y - X \beta\|_2^2$$J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

$$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$$ $J$

A resposta de Ben é o resultado mais geral. Mas a resposta intuitiva ao OP é motivada pelo caso de preditores categóricos, que geralmente são codificados como múltiplas variáveis ​​fictícias: uma para cada categoria. Em muitas análises, faz sentido considerar essas variáveis ​​fictícias (representando um preditor categórico) juntas, e não separadamente.

Se você tem uma variável categórica com, digamos, cinco níveis, um laço reto pode deixar dois dentro e três fora. Como você lida com isso de uma maneira baseada em princípios? Decida votar? Literalmente, use as variáveis ​​dummy em vez das categóricas mais significativas? Como sua codificação fictícia afeta suas escolhas?

Como se costuma dizer na introdução do laço do grupo para regressão logística , ele menciona:

Já para o caso especial da regressão linear, quando não apenas preditores (fatores) contínuos, mas também categóricos estão presentes, a solução do laço não é satisfatória, pois apenas seleciona variáveis ​​fictícias individuais em vez de fatores inteiros. Além disso, a solução do laço depende de como as variáveis ​​dummy são codificadas. A escolha de diferentes contrastes para um preditor categórico produzirá soluções diferentes em geral.

Como Ben ressalta, também existem vínculos mais sutis entre os preditores que podem indicar que eles devem entrar ou sair juntos. Mas as variáveis ​​categóricas são o filho do pôster do laço de grupo.