Computando o melhor subconjunto de preditores para regressão linear

9

Para a seleção de preditores na regressão linear multivariada com preditores adequados, quais métodos estão disponíveis para encontrar um subconjunto 'ótimo' dos preditores sem testar explicitamente todos os subconjuntos 2 p ? Em 'Applied Survival Analysis', Hosmer & Lemeshow fazem referência ao método de Kuk, mas não consigo encontrar o artigo original. Alguém pode descrever esse método ou, melhor ainda, uma técnica mais moderna? Pode-se assumir erros normalmente distribuídos.p2p

shabbychef
fonte
11
Você está se referindo ao artigo a seguir? Kuk, AYC (1984) Todos os subconjuntos regressam em um modelo de riscos proporcionais. Biometrika, 71, 587-592
chl
sim, de fato. Acho que vou ter que desenterrar esse papel de alguma forma. Parece velho, no entanto.
precisa
2
Entretanto, encontre este artigo, O método do laço para seleção de variáveis ​​no modelo cox, de Tibshirani (Stat. Med. 1997 16: 385-395), j.mp/bw0mB9 . HTH
chl
11
e este mais recente (intimamente ligado ao penalizedpacote R), j.mp/cooIT3 . Talvez este também, j.mp/bkDQUj . Cheers
chl

Respostas:

12

Eu nunca ouvi falar do método de Kuk, mas o assunto atual hoje é a minimização de L1. A justificativa é que, se você usar um termo de penalidade do valor absoluto dos coeficientes de regressão, os sem importância devem ir para zero.

Essas técnicas têm alguns nomes engraçados: Lasso, LARS, seletor de Dantzig. Você pode ler os artigos, mas um bom lugar para começar é com Elementos de Aprendizagem Estatística , Capítulo 3.

Simon Byrne
fonte
2
BTW, o pacote R penalizado ( j.mp/bdQ0Rp ) inclui uma estimativa penalizada de l1 / l2 para os modelos Linear Generalizado e Cox.
chl
preso na terra Matlab, implementando-lo eu mesmo ...
shabbychef
LARS é ótimo, entre. coisas muito legais. não sei como eu posso jogá-lo no quadro do modelo de Cox Riscos Proporcionais, tho ...
shabbychef
2
O software Glmnet possui um modelo Cox PH lasso'd : cran.r-project.org/web/packages/glmnet/index.html, há também uma versão MATLAB (não tenho certeza se ele usa um modelo cox): www-stat .stanford.edu / ~ tibs / glmnet-matlab
Simon Byrne
3

Este é um tópico enorme. Como mencionado anteriormente, Hastie, Tibshirani e Friedman fazem uma boa introdução no capítulo 3 de Elements of Statistical Learning.

Alguns pontos 1) O que você quer dizer com "melhor" ou "ideal"? O que é melhor em um sentido pode não ser melhor em outro. Dois critérios comuns são a precisão preditiva (previsão da variável resultado) e a produção de estimadores imparciais dos coeficientes. Alguns métodos, como o Lasso & Ridge Regression, inevitavelmente produzem estimadores de coeficientes tendenciosos.

2) A frase "melhores subconjuntos" pode ser usada em dois sentidos separados. Geralmente, para se referir ao melhor subconjunto entre todos os preditores, que otimiza alguns critérios de construção de modelo. Mais especificamente, pode se referir ao algoritmo eficiente de Furnival e Wilson para encontrar esse subconjunto entre números moderados (~ 50) de preditores lineares (Regressões por Leaps and Bounds. Technometrics, Vol. 16, No. 4 (Nov., 1974), pp. 499-51)

http://www.jstor.org/stable/1267601

Thylacoleo
fonte
1) sim, a questão é um tanto ambígua; existem, como você mencionou, muitas definições de 'ótimo': via critério de informação, validação cruzada, etc. No entanto, Hosmer e Lemeshow fazem referência a esse método (uma variante do trabalho de Lawless & Singhal), que de alguma forma 'magicamente' seleciona preditores por um único cálculo de uma MLR (módulo algumas outras coisas). Eu estou muito curioso sobre esse método ... #
2113 shabbychef
0

O que aprendi que, em primeiro lugar, usa a Melhor abordagem de subconjuntos como uma ferramenta de triagem, e os procedimentos de seleção passo a passo podem ajudá-lo a finalmente decidir quais modelos podem ser os melhores subconjuntos (neste momento, o número desses modelos é bem pequeno de manusear). Se um dos modelos atender às condições do modelo, fizer um bom trabalho de resumir a tendência nos dados e, o mais importante, permitir que você responda à sua pergunta de pesquisa, parabenize seu trabalho.

Rosie Luo
fonte
11
Eu acho que você pode estar se lembrando errado disso. Os melhores subconjuntos são muito mais caros em termos computacionais do que os escalonados, mas necessariamente captariam qualquer coisa escalonada, então você usaria o escalonado para rastrear os melhores subconjuntos depois. FWIW, eu discordo do uso ingênuo dessas estratégias, por razões que discuto em minha resposta aqui: algoritmos para seleção automática de modelo .
gung - Restabelece Monica