Rede elástica de grupo

O laço e a rede elástica não são capazes de lidar com variáveis com mais de duas categorias e, portanto, uma divisão de variáveis categóricas em manequins é necessária para a aplicação desses métodos. Isso pode resultar em vários problemas e, portanto, existem extensões para o laço para o laço de grupo ou o laço de grupo esparso .

No entanto, eu estou querendo saber se essas extensões também existem para rede elástica. Infelizmente, não consegui encontrar nenhuma literatura estatística sobre o assunto.

Pergunta: Existe uma rede elástica de grupo?

machine-learning categorical-data feature-selection lasso elastic-net JSP
fonte

Olhada pacote glmnet de R ...

b Kjetil Halvorsen

Sim, acho que está correto.

precisa saber é o seguinte

Em um sentido muito real, essa "rede elástica de grupo" é apenas uma versão do "laço de grupo" onde os grupos podem se sobrepor. Por exemplo, se

G

$\mathcal{G}$ é o seu conjunto de grupos, execute o laço do grupo em , onde consideramos que existem recursos de . Isso será equivalente à rede elástica do grupo até uma reparametrização do parâmetro de ajuste que controla .

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{ \{1, \dots, p\} \}$

p

$p$

{1, \dots, p}

$\{1, \dots, p\}$

User795305

O conjunto não é mais uma partição, diferente do próprio . (Esse é o comentário que se sobrepõe.) A parte sobre as diferentes parametrizações refere-se apenas à função objetivo que eu discuto ser uma reparameterização da que você provavelmente está discutindo. Este comentário pode ser amplamente ignorado na íntegra. Além disso, o procedimento que a @kjetilbhalvorsen recomenda não parece estar correto. O agrupamento discutido existe para quando houver uma resposta multivariada. Isso é diferente. No entanto, você pode, por exemplo, usar o pacote para fazer isso.

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{\{1, \dots, p\}\}$

G

$\mathcal{G}$ gglasso

User795305

(Nota: Não coloque um espaço depois do "@", caso contrário, o usuário não é notificado.)

user795305

$\mathcal{G}$ $\mathcal{G}$ $\{1, \dots, p\}$ $p$ $y \in \mathbb{R}^n$ $X \in \mathbb{R}^{n \times p}$

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2.$

ℓ_{2}

$\ell_2$

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2.$

\begin{aligned} \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2}^{2} \leq C} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2} \leq \sqrt{C}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + \tilde{μ} ‖ β ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + (λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + {\tilde{μ}}^{'} p^{1 / 2} ‖ β ‖_{2}), \end{aligned}

$\begin{align*} \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2^2 \leq C} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2 \leq \sqrt{C}} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu \|\beta\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \left( \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu' p^{1/2} \|\beta\|_2 \right), \end{align*}$ onde é a variável dupla correspondente e . Como podemos ver, essa última expressão é um laço de grupo com grupos "sobrepostos", pois não é mais uma partição. Além disso, o grupo tem uma variável dupla (ou variável de ajuste) que é distinta da variável dupla para os outros grupos.

\tilde{μ}

$\tilde\mu$

{\tilde{μ}}^{'} = p^{- 1 / 2} \tilde{μ}

$\tilde\mu' = p^{-1/2} \tilde\mu$

G \cup {1, \dots, p}

$\mathcal{G} \cup \{1, \dots, p\}$

{1, \dots, p}

$\{1, \dots, p\}$

\tilde{μ}

$\tilde\mu$

λ

$\lambda$

Isso pode ser um problema de otimização que pode ser resolvido usando o pacote gglasso. A leitura da seção na página 9 da documentação aqui informa sobre a gglassofunção que deve ser usada. Observe que o argumento pmaxprecisará ser fornecido manualmente com um último componente que servirá como parâmetro de ajuste.

user795305
fonte

Rede elástica de grupo

Respostas: