Qual é o significado de barras duplas e 2 na parte inferior em mínimos quadrados comuns?

Eu vi essa notação para mínimos quadrados comuns aqui .

min_{w} {‖ X w - y ‖}_{2}^{2}

$\min_w \left\| Xw - y \right\|^2_2$

Eu nunca vi as barras duplas e as 2 na parte inferior. O que significam esses símbolos? Eles têm terminologia específica para eles?

regression least-squares linear-model linear-algebra notation Aseem Bansal
fonte

O uso das barras duplas apenas indica que estamos usando a norma L2.

Michael R. Chernick

@MichaelChernick e os 2? Isso faz parte da "norma L2"?

Aseem Bansal

Sim, como L2, também há L1.

Jon

Acho

X_{w}

$X_w$ deve ser

X w

$Xw$ desde

w

$w$ é um vetor

ilanman

@ilanman Sim, era isso que estava na notação antes da edição. Eu mudei de volta

Aseem Bansal

Você está falando sobre o -norm (norma euclidiana) do vetor ( ). Se isso for estranho para você, brevemente, a -norm de um vetor é: $\ell_2$ $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

Portanto, no seu caso que é consistente com a soma dos resíduos quadráticos de uma regressão linear. No contexto de problemas de regressão, você também verá isso muito nos cálculos de erro quadrático médio (MSE) e na regressão de crista . $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

Essa é uma norma comum (entre outras razões, é matematicamente conveniente); portanto, quando for óbvio no contexto, você verá os inferiores omitidos e apenas . $2$ $\|u\|^2$

Conforme mencionado nos comentários, você também pode ver a -norm: $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

O que corresponde ao valor absoluto. Novamente, você verá isso em erro médio absoluto (MAE) ou em problemas de laço .

Outras normas populares:

-norm: Distância de Hamming , ou # de não-zeros em um vetor, ou seja, no cálculo da dispersão de um vetor. Tecnicamente, isso não é uma norma (é uma função de cardinalidade), porque você tem um termo na definição, mas ele tem a forma de uma norma, por isso a chamamos de um.
- Essa norma é a norma ideal usada na indução de esparsidade para problemas de regressão, pois realmente queremos zerar os coeficientes, no entanto, a computação regularização é NP-difícil, então, em vez disso, a aproximamos com que é solucionável via programação linear. Também é popular no Sensor Compressed . $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm: = para $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ : Frobenius (Euclidiana), aplicada a uma matriz $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

ilanman
fonte

O link para o wolfram alpha foi realmente útil.

Aseem Bansal

Você escreve que a (pseudo) conta o número de zeros em um vetor - você talvez quis dizer o número de entradas diferentes de zero? (Isso seria mais consistente com o que vi e também significaria que seria a distância de Hamming entre e , em vez de ser menos que )

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$

wchargin

Erro de ortografia: "Frobenius".

Hbbs

Em vez de "isto é uma norma comum" Eu simplesmente teria dito "L2 é a norma";)

user541686

Qual é o significado de barras duplas e 2 na parte inferior em mínimos quadrados comuns?

Respostas: