Seleção de características em um modelo linear generalizado hierárquico bayesiano

Pretendo estimar um GLM hierárquico, mas com a seleção de recursos para determinar quais covariáveis ​​são relevantes no nível da população a serem incluídas.

Suponha que eu tenha grupos com observações e possíveis covariáveis ​​Ou seja, possuo uma matriz de design de covariáveis \ boldsymbol {x} _ {(N \ cdot G) \ vezes K} , resultados \ boldsymbol {y} _ {(N \ cdot G) \ times 1} . Os coeficientes dessas covariáveis ​​são \ beta_ {K \ times 1} .N K x ( N ⋅ G ) × K y ( N ⋅ G ) × 1 β K × $G$$N$$K$$\boldsymbol{x}_{(N\cdot G) \times K}$$\boldsymbol{y}_{(N\cdot G) \times 1}$$\beta_{K \times 1}$

Suponha que $Y$ ~ $Bernoulli(p(x,\beta))$

A seguir, é apresentado um GLM bayesiano hierárquico padrão com modelo de amostragem logit e coeficientes de grupo normalmente distribuídos.

$${\cal L}\left(\boldsymbol{y}|\boldsymbol{x},\beta_{1},...\beta_{G}\right)\propto\prod_{g=1}^{G}\prod_{t=1}^{N}\left(\Pr\{j=1|p_{t},\beta^{g}\}\right)^{y_{g,t}}\left(1-\Pr\{j=1|p_{t},\beta^{g}\}\right)^{1-y_{g,t}}$$

$$\beta_{1},...\beta_{G}|\mu,\Sigma\sim^{iid}{\cal N}_{d}\left(\mu,\Sigma\right)$$

$$\mu|\Sigma\sim{\cal N}\left(\mu_{0},a^{-1}\Sigma\right)$$ $$\Sigma\sim{\cal IW}\left(v_{0},V_{0}^{-1}\right)$$

Quero modificar esse modelo (ou encontrar um documento que o faça, ou trabalhe que o discuta) de tal maneira que exista alguma seleção nítida de recursos (como no LASSO) sobre a dimensionalidade de $\beta$ .

(1) A maneira mais simples e direta seria regularizá-la no nível populacional, de modo a restringirmos essencialmente a dimensionalidade de e todos tenham a mesma dimensão.$\mu$$\beta$

(2) O modelo com mais nuances teria encolhimento no nível do grupo, onde a dimensão de depende da unidade hierárquica.$\beta$

Estou interessado em resolver 1 e 2, mas muito mais importante é 1.

A maneira como abordaria (1) envolveria um modelo de espigão e laje, algo como:

$\beta_{g,k} = z_{k}m_{g,k}$

$z_k \sim Bern(p)$

$m_{g,k} \sim N(\mu, \Sigma)$

$\mu, \Sigma \sim NIW_{v_0}(\mu_0, V_0^{-1})$

Este:

• Mantém a flexibilidade nos 's do NIW anterior em .$\beta$$\mu, \Sigma$
• Modela a seleção de variáveis ​​para todos os grupos de uma só vez.
• Facilmente extensível adicionando um sub-índice para o grupo a e tendo um beta comum anterior para cada local .$z_{g,k}$$k$

Claro, acho que esse é o tipo de problema em que existem várias abordagens válidas.

A seleção de recursos não é um grande objetivo a ter em uma análise. A menos que todos os preditores não estejam correlacionados e o tamanho da amostra seja imenso, os dados não conseguirão fornecer a resposta com segurança. A especificação do modelo é mais importante que a seleção do modelo. Os detalhes estão nas minhas Notas do curso RMS . Mas o encolhimento, sem a seleção de recursos (por exemplo, crista ou estimativa de probabilidade máxima penalizada ) pode ser uma boa idéia. Os modelos bayesianos hierárquicos são ainda melhores porque permitem inferência estatística no modelo encolhido, enquanto perdemos a maioria das ferramentas inferenciais no mundo freqüentista após encolher.$L_{2}$