Qual é o significado de barras duplas e 2 na parte inferior em mínimos quadrados comuns?

10

Eu vi essa notação para mínimos quadrados comuns aqui .

minwXwy22

Eu nunca vi as barras duplas e as 2 na parte inferior. O que significam esses símbolos? Eles têm terminologia específica para eles?

Aseem Bansal
fonte
5
O uso das barras duplas apenas indica que estamos usando a norma L2.
Michael R. Chernick
@MichaelChernick e os 2? Isso faz parte da "norma L2"?
Aseem Bansal
11
Sim, como L2, também há L1.
Jon
Acho Xw deve ser Xw desde w é um vetor
ilanman
@ilanman Sim, era isso que estava na notação antes da edição. Eu mudei de volta
Aseem Bansal

Respostas:

29

Você está falando sobre o -norm (norma euclidiana) do vetor ( ). Se isso for estranho para você, brevemente, a -norm de um vetor é:2XwypuRn

up=(i=1n|ui|p)1p

Portanto, no seu caso que é consistente com a soma dos resíduos quadráticos de uma regressão linear. No contexto de problemas de regressão, você também verá isso muito nos cálculos de erro quadrático médio (MSE) e na regressão de crista .u22=((i=1n|ui|2)12)2=i=1nui2

Essa é uma norma comum (entre outras razões, é matematicamente conveniente); portanto, quando for óbvio no contexto, você verá os inferiores omitidos e apenas .2u2

Conforme mencionado nos comentários, você também pode ver a -norm:1

u1=i=1n|ui|

O que corresponde ao valor absoluto. Novamente, você verá isso em erro médio absoluto (MAE) ou em problemas de laço .

Outras normas populares:

  • 0 -norm: Distância de Hamming , ou # de não-zeros em um vetor, ou seja, no cálculo da dispersão de um vetor. Tecnicamente, isso não é uma norma (é uma função de cardinalidade), porque você tem um termo na definição, mas ele tem a forma de uma norma, por isso a chamamos de um. 10
    • Essa norma é a norma ideal usada na indução de esparsidade para problemas de regressão, pois realmente queremos zerar os coeficientes, no entanto, a computação regularização é NP-difícil, então, em vez disso, a aproximamos com que é solucionável via programação linear. Também é popular no Sensor Compressed .01
  • -norm: = paramaxi {|xi|}i=1,...,n
  • AF : Frobenius (Euclidiana), aplicada a uma matrizARn×m=i=1nj=1m|aij|2
ilanman
fonte
2
O link para o wolfram alpha foi realmente útil.
Aseem Bansal
Você escreve que a (pseudo) conta o número de zeros em um vetor - você talvez quis dizer o número de entradas diferentes de zero? (Isso seria mais consistente com o que vi e também significaria que seria a distância de Hamming entre e , em vez de ser menos que )0u0u0Rnn
wchargin
11
Erro de ortografia: "Frobenius".
Hbbs
11
Em vez de "isto é uma norma comum" Eu simplesmente teria dito "L2 é a norma";)
user541686