Por que usar estimativas de Lasso sobre estimativas de OLS no subconjunto de variáveis ​​identificadas por Lasso?

Para a regressão do laço suponha que a melhor solução (erro mínimo de teste, por exemplo) selecione k recursos, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {laço}, 0, ... 0 \ direita) .

Sabemos que $\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right)$ é um estimativa tendenciosa de $\left(\beta_1,\beta_2,...,\beta_k\right)$ , por que ainda consideramos $\hat{\beta}^{lasso}$ como a solução final, em vez da mais 'razoável' $\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right)$ , em que $\hat{\beta}_{1:k}^{new}$ é a estimativa LS do modelo parcial $L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y)$ . ( $X_{1:k}$ indica as colunas de $X$ correspondentes aos $k$ recursos selecionados).

Em resumo, por que usamos o Lasso tanto para seleção de recursos quanto para estimativa de parâmetros, em vez de apenas para seleção de variáveis ​​(e deixando a estimativa dos recursos selecionados para o OLS)?

(Além disso, o que significa que 'Lasso pode selecionar no máximo $n$ recursos'? $n$ é o tamanho da amostra.)

Não acredito que exista algo errado em usar o LASSO para seleção de variáveis ​​e depois usar o OLS. De " Elementos de aprendizagem estatística " (pág. 91)

... o encolhimento do laço faz com que as estimativas dos coeficientes diferentes de zero sejam enviesadas para zero e, em geral, elas não são consistentes [ Nota adicionada: isso significa que, à medida que o tamanho da amostra cresce, as estimativas de coeficientes não convergem] . Uma abordagem para reduzir esse viés é executar o laço para identificar o conjunto de coeficientes diferentes de zero e, em seguida, ajustar um modelo linear não restrito ao conjunto de recursos selecionado. Isso nem sempre é possível se o conjunto selecionado for grande. Como alternativa, pode-se usar o laço para selecionar o conjunto de preditores diferentes de zero e, em seguida, aplicar o laço novamente, mas usando apenas os preditores selecionados da primeira etapa. Isso é conhecido como laço relaxado(Meinshausen, 2007). A idéia é usar a validação cruzada para estimar o parâmetro de penalidade inicial para o laço e, em seguida, novamente para um segundo parâmetro de penalidade aplicado ao conjunto selecionado de preditores. Como as variáveis ​​na segunda etapa têm menos "competição" em relação às variáveis ​​de ruído, a validação cruzada tenderá a escolher um valor menor para [o parâmetro de penalidade] e, portanto, seus coeficientes serão encolhidos menos que os da estimativa inicial.$\lambda$

Outra abordagem razoável, semelhante em espírito ao laço relaxado, seria usá-lo uma vez (ou várias vezes em conjunto) para identificar um grupo de variáveis ​​preditoras candidatas. Em seguida, use a melhor regressão de subconjuntos para selecionar as melhores variáveis ​​preditoras a serem consideradas (consulte também "Elementos do aprendizado estatístico"). Para que isso funcione, você precisará refinar o grupo de preditores de candidatos para cerca de 35, o que nem sempre é possível. Você pode usar a validação cruzada ou o AIC como critério para evitar o ajuste excessivo.

Se seu objetivo é o desempenho ideal dentro da amostra (wrt mais alto R ao quadrado), basta usar o OLS em todas as variáveis ​​disponíveis. A queda de variáveis ​​diminui o quadrado R.

Se seu objetivo é um bom desempenho fora da amostra (que geralmente é o que é muito mais importante), sua estratégia proposta sofrerá de duas fontes de sobreajuste:

• Seleção de variáveis ​​com base em correlações com a variável de resposta
• Estimativas OLS

O objetivo do LASSO é reduzir as estimativas de parâmetros para zero, a fim de combater acima de duas fontes de sobreajuste. As previsões dentro da amostra serão sempre piores que o OLS, mas a esperança é (dependendo da força da penalização) obter um comportamento fora da amostra mais realista.

Em relação a : Isso (provavelmente) depende da implementação do LASSO que você está usando. Uma variante, Lars (regressão de menor ângulo), funciona facilmente para .p > $p > n$$p > n$

Em relação à questão dos OPs, por que Lasso pode selecionar no máximo n recursos:

Considere por que um OLS pode ser tendencioso: é quando há mais preditores ( p ) do que observações ( n ). Assim, é de tamanho [p, p] em . Não é possível tomar uma inversa dessa matriz (pode ser singular).β = ( X T X ) - 1 X T$X^{T}X$$\beta = (X^{T} X)^{-1}X^{T}Y$

Lasso é forçado a reduzir os coeficientes das variáveis ​​para que isso não aconteça; portanto, nunca seleciona mais de n recursos para que seja sempre invertível.$X^{T}X$