Quais são

Ultimamente, tenho visto muitos trabalhos sobre representações esparsas, e a maioria deles usa a norma $\ell_p$ e faz alguma minimização. Minha pergunta é, qual é o $\ell_p$ norma, e o $\ell_{p, q}$ norma mista? E como eles são relevantes para a regularização?

obrigado

$\ell_p$

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$$\|\vec x - \vec y\|_2$$p = \infty$$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$$0 < p < 1$$\|\vec x\|_p$

(Também existem normas , que são definidas de forma análoga, exceto para funções em vez de vetores ou sequências - na verdade, é a mesma coisa, pois vetores são funções com domínios finitos.)$L_p$

Não conheço nenhum uso de uma norma em um aplicativo de aprendizado de máquina em que , exceto em que . Geralmente você vê ou , ou às vezes onde deseja relaxar o caso ; não é estritamente convexo em , mas é, para . Isso pode facilitar a localização da solução em alguns casos.$p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$$1 < p < \infty$

No contexto da regularização, se você adicionar à sua função objetivo, o que você está dizendo é que espera que seja escasso , ou seja, composto principalmente de zeros. É um pouco técnico, mas basicamente, se houver uma solução densa , provavelmente haverá uma solução mais esparsa com a mesma norma. Se você espera que sua solução seja densa, você pode adicionar ao seu objetivo, porque é muito mais fácil trabalhar com sua derivada. Ambos têm o objetivo de impedir que a solução tenha muito peso.$\|\vec x\|_1$$\vec x$$\|\vec x\|_2^2$

A norma mista surge quando você está tentando integrar várias fontes. Basicamente, você deseja que o vetor da solução seja composto de várias partes , onde é o índice de alguma fonte. A é apenas a -norm de todas as -norms coletadas em um vetor. Ou seja,$\vec{x}^j$$j$$\ell_{p,q}$$q$$p$

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

O objetivo disso não é "oversparsify" um conjunto de soluções, digamos, usando . As peças individuais são escassas, mas você não corre o risco de destruir um vetor de solução inteiro, pegando o número de todas as soluções. Então você usa o -norm do lado de fora.$\|\vec x\|_{1,2}$$1$$2$

Espero que ajude.

Veja este documento para mais detalhes.