Quais são as vantagens da regressão gradual?

Estou experimentando uma regressão gradual por uma questão de diversidade na minha abordagem ao problema. Então, eu tenho 2 perguntas:

1. Quais são as vantagens da regressão gradual? Quais são seus pontos fortes específicos?

2. O que você acha da abordagem híbrida, na qual você usa a regressão passo a passo para selecionar recursos e depois aplica a regressão regular reunindo todos os recursos selecionados?

A principal vantagem da regressão passo a passo é que ela é computacionalmente eficiente. No entanto, seu desempenho geralmente é pior que os métodos alternativos. O problema é que é muito ganancioso. Ao fazer uma seleção difícil no próximo regressor e 'congelar' o peso, ele faz escolhas localmente ideais a cada etapa, mas abaixo do ideal em geral. E não pode voltar a revisar suas escolhas passadas.

Até onde eu sei, a regressão gradual geralmente em comparação à regressão regularizada (LASSO), que tende a produzir melhores soluções.$l_1$

Tibshirani (1996) . Retração e seleção de regressão através do laço

O LASSO penaliza a norma dos pesos, o que induz esparsidade na solução (muitos pesos são forçados a zero). Isso realiza a seleção de variáveis ​​(as variáveis ​​'relevantes' podem ter pesos diferentes de zero). O grau de escarsidade é controlado pelo termo penalidade, e algum procedimento deve ser usado para selecioná-lo (a validação cruzada é uma escolha comum). O LASSO é mais computacionalmente intensivo do que a regressão por etapas, mas existem vários algoritmos eficientes. Alguns exemplos são a regressão de ângulo mínimo ( LARS ) e uma abordagem baseada na descida de coordenadas .$l_1$

Uma abordagem semelhante à sugerida em (2) é chamada busca de correspondência ortogonal. É uma generalização da busca por correspondência, que é o nome da regressão gradual na literatura de processamento de sinais.

Pati et al. (1993) . Busca de correspondência ortogonal: aproximação de função recursiva com aplicações para decomposição de wavelets

Em cada iteração, o próximo melhor regressor é adicionado ao conjunto ativo. Em seguida, os pesos para todos os regressores no conjunto ativo são recalculados. Devido à etapa de reponderação, essa abordagem é menos ambiciosa (e tem melhor desempenho) do que a busca de correspondência regular / regressão passo a passo. Mas, ainda emprega uma heurística de busca gananciosa.

Todas essas abordagens (regressão por etapas, LASSO e busca de correspondência ortogonal) podem ser consideradas aproximações do seguinte problema:

Em um contexto de regressão, as colunas de correspondem às variáveis ​​independentes e à variável dependente. No processamento de sinal, as colunas de correspondem às funções e é um sinal a ser aproximado. O objetivo é encontrar um conjunto escasso de pesos que forneça a melhor aproximação (menos quadrados) de . A norma simplesmente conta o número de entradas diferentes de zero em . Infelizmente, esse problema é difícil para NP, portanto, algoritmos de aproximação devem ser usados ​​na prática. A regressão passo a passo e a busca de correspondência ortogonal tentam resolver o problema usando uma estratégia de pesquisa gananciosa. O LASSO reformula o problema usando um relaxamento das$X$$y$$X$$y$$w$$y$$l_0$$w$$l_0$ norma para a norma. Aqui, o problema de otimização se torna convexo (e, portanto, tratável). E, embora o problema não seja mais idêntico, a solução é semelhante. Se bem me lembro, foi comprovado que tanto o LASSO quanto a busca de correspondência ortogonal recuperam a solução exata sob certas condições.$l_1$

A seleção gradual não costuma ser uma boa ideia. Para entender o porquê, pode ser útil ler minha resposta aqui: Algoritmos para seleção automática de modelo .

No que diz respeito às vantagens, nos dias em que a pesquisa em todas as combinações possíveis de recursos era muito intensiva em termos computacionais para o manuseio dos computadores, a seleção gradual economizava tempo e era tratável. No entanto, observe que os problemas discutidos na minha resposta vinculada acima se aplicam tanto à regressão do 'melhor subconjunto'; portanto, passo a passo não produz uma boa solução, apenas uma solução ruim mais rapidamente.

Sua ideia de uma abordagem híbrida seria boa, desde que o segundo modelo (com os recursos selecionados) seja ajustado em um novo conjunto de dados .

Acabei de fazer uma pesquisa no google para saber o que é regressão Stepwise. Não tenho certeza se entendo completamente, mas aqui está o meu primeiro pensamento

• É ganancioso, por isso não pode produzir a boa solução como Lasso. Eu prefiro Lasso
• É simples, fácil de usar, fácil de codificar
• Depois de usar a regressão Stepwise, você já acaba com um modelo treinado que usa recursos selecionados, para que não precise usar outra etapa de regressão, como mencionado como abordagem híbrida