Quais são

12

Ultimamente, tenho visto muitos trabalhos sobre representações esparsas, e a maioria deles usa a norma p e faz alguma minimização. Minha pergunta é, qual é o p norma, e o p,q norma mista? E como eles são relevantes para a regularização?

obrigado

água
fonte

Respostas:

13

p

xp=(i=1d|xi|p)1/p
p=2xy2p=x=supiximaxixipxp0<p<1xp

(Também existem normas , que são definidas de forma análoga, exceto para funções em vez de vetores ou sequências - na verdade, é a mesma coisa, pois vetores são funções com domínios finitos.)Lp

Não conheço nenhum uso de uma norma em um aplicativo de aprendizado de máquina em que , exceto em que . Geralmente você vê ou , ou às vezes onde deseja relaxar o caso ; não é estritamente convexo em , mas é, para . Isso pode facilitar a localização da solução em alguns casos.p>2p=p=2p=11<p<2p=1x1xxp1<p<

No contexto da regularização, se você adicionar à sua função objetivo, o que você está dizendo é que espera que seja escasso , ou seja, composto principalmente de zeros. É um pouco técnico, mas basicamente, se houver uma solução densa , provavelmente haverá uma solução mais esparsa com a mesma norma. Se você espera que sua solução seja densa, você pode adicionar ao seu objetivo, porque é muito mais fácil trabalhar com sua derivada. Ambos têm o objetivo de impedir que a solução tenha muito peso.x1xx22

A norma mista surge quando você está tentando integrar várias fontes. Basicamente, você deseja que o vetor da solução seja composto de várias partes , onde é o índice de alguma fonte. A é apenas a -norm de todas as -norms coletadas em um vetor. Ou seja,xjjp,qqp

xp,q=(j=1m(i=1d|xij|p)q/p)1/q

O objetivo disso não é "oversparsify" um conjunto de soluções, digamos, usando . As peças individuais são escassas, mas você não corre o risco de destruir um vetor de solução inteiro, pegando o número de todas as soluções. Então você usa o -norm do lado de fora.x1,212

Espero que ajude.

Veja este documento para mais detalhes.

Josephine Moeller
fonte
1
+1 para a explicação de normas mistas. Eu nunca os entendi.
Suresh Venkatasubramanian
(+1) Boa resposta. Bem-vindo ao CrossValidated, John!
MånsT