O que os estatísticos querem dizer quando dizem que realmente não entendemos como o LASSO (regularização) funciona?

10

Estive recentemente em algumas conversas sobre estatísticas sobre o Lasso (regularização) e um ponto que continua surgindo é que não entendemos realmente por que o Lasso funciona ou por que funciona tão bem. Gostaria de saber a que esta declaração se refere. Obviamente, eu entendo por que o Lasso funciona tecnicamente, como forma de evitar ajustes excessivos por encolhimento de parâmetros, mas estou me perguntando se existe um significado mais profundo por trás dessa declaração. Alguém tem alguma idéia? Obrigado!

machine-learning lasso regularization user321627
fonte
11
Defina "obras". Trabalha para fazer o que, exatamente? Trabalha para aumentar a escarsidade? Trabalha para evitar o excesso de ajuste? Trabalha para produzir testes estatísticos razoáveis? - Ou, dito de outra maneira, o que "não funcionaria" significaria nesse contexto? - Como você pode ver nos comentários da resposta atual, há alguma confusão sobre o que você procura.
RM
@ RM, você está apenas reformulando o OP, IMHO. O OP provavelmente está atrás do mesmo desconhecido que você tem problemas para identificar.
Richard Hardy
11
@RichardHardy Vejo como pode ser esse o caso, mas, se for o caso, espero que o OP possa pelo menos expandir o contexto das conversas sobre estatísticas nas quais o assunto surgiu, esperançosamente, para nos ajudar a focar no que esses palestrantes podem tenho pensado.
RM
@ RM, bom então.
Richard Hardy

Respostas:

11

Às vezes, há uma falta de comunicação entre os estatísticos que trabalham e a comunidade da teoria da aprendizagem que estuda os fundamentos de métodos como o laço. As propriedades teóricas do laço são realmente muito bem compreendidas.

Este documento tem um resumo na Seção 4 de muitas das propriedades que ele desfruta. Os resultados são bastante técnicos, mas essencialmente:

  • Ele recupera o suporte verdadeiro (conjunto de entradas diferentes de zero) de um vetor de peso esparso sob algumas suposições suaves, para conjuntos de dados grandes o suficiente, com alta probabilidade.
  • Ele converge para o vetor de peso correto na taxa ideal à medida que o tamanho da amostra aumenta, desde que as colunas de não sejam muito correlacionadas.X
AaronDefazio
fonte
3

Se, ao entender por que o Lasso funciona, você quer dizer por que ele realiza a seleção de recursos (ou seja, definir pesos para alguns recursos exatamente como 0), entendemos isso muito bem:

Regularização do laço como otimização lagrangiana

rinspy
fonte
4
Obrigado por uma boa ilustração, mas suspeito que essa não seja a parte em que o OP está interessado. É claro que cabe ao OP esclarecer isso.
Richard Hardy
Não entendo o (s) ponto (s) do seu diagrama.
Michael R. Chernick
7
eu1 1λ^
4
@Chaconne, seus pontos formam uma excelente base para uma resposta!
Richard Hardy
11
@Chaconne, ele parecia gerar discussão útil embora identificando o que se entende sobre Lasso!
rinspy
2

Há o problema da recuperação de sinal da consistência de seleção de modelo (que foi respondida por estatísticos ) e

existe o problema da inferência (construção de bons intervalos de confiança para as estimativas), que é um tópico de pesquisa.

A maior parte do trabalho é feita por estatísticos, e não "pela comunidade da teoria da aprendizagem".

Gao Zheng
fonte
Como isso se soma ao que já foi dado?
Michael R. Chernick
Ninguém mencionou o problema da inferência aqui, que acredito ser a razão pela qual a alegação ("não é bem compreendida") foi feita em primeiro lugar.
Gao Zheng