Normas

Uma norma é única (pelo menos em parte) porque está no limite entre não convexo e convexo. Uma norma é a norma convexa 'mais esparsa' (certo?).$L_1$$p=1$$L_1$

Entendo que a norma euclidiana tem raízes na geometria e tem uma interpretação clara quando as dimensões têm as mesmas unidades. Mas não entendo por que é usado preferencialmente sobre outros números reais : ? ? Por que não usar a faixa contínua completa como um hiperparâmetro?$p=2$$p>1$$p=1.5$$p=\pi$

o que estou perdendo?

Uma explicação mais matemático é que o espaço , que consiste de todas as séries que convergem em p-norma, só é Hilbert com p = 2 e nenhum outro valor. Isso significa que esse espaço está completo e a norma nesse espaço pode ser induzida por um produto interno (pense no produto pontual familiar em R n ), por isso é um pouco melhor trabalhar com isso.$l^p$$p=2$$R^n$

Aqui estão algumas razões:

1. Está relacionado de uma maneira muito especial ao produto interno: é sua própria norma dupla (ou seja, é "auto-dual").
   Isso significa que, se você considerar todos os vetores dentro da esfera de unidade , seu produto interno máximo com qualquer vetor z é a norma ℓ 2 da própria z . Com menos fantasia, ela satisfaz a propriedade de que " x " 2 2 = x ⋅ x . Nenhum outro ℓ p norma se comporta dessa maneira.$\ell_2$$z$$\ell_2$$z$$\lVert x\rVert_2^2 = x \cdot x$$\ell_p$

2. Tem um muito gradiente convenientemente suavizar: Você realmente não pode bater isso!

   $$\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$$

Embora possa haver muitos outros motivos, o AFAIK p = 2 é o preferido pelos seguintes motivos:

• Medida de similaridade / dissimilaridade: Para p = 2, a norma euclidiana fornece uma medida de similaridade ou dissimilaridade entre dois vetores, que podem ser posteriormente utilizados para uma melhor compreensão dos dados. Respostas mais detalhadas sobre isso podem ser encontradas aqui .
• Regularização: a norma L2 é usada para regularização no aprendizado de máquina e é preferida por duas razões: 1) É facilmente diferenciável 2) Com a regularização L2, os pesos tendem a reduzir proporcionalmente aos pesos. Portanto, a regularização L2 penaliza os pesos maiores mais em comparação com os pesos menores.

Erros quadráticos em modelos lineares são frequentemente preferidos devido a:

• a relação com a ortogonalidade, que se comporta bem em relação a alguns fenômenos aleatórios considerados ruído (não correlacionados)
• $L_1$
• produz algoritmos de otimização tratáveis ​​à medida que a derivada se transforma em sistemas lineares

$L_1$$\ell_1$$\ell_p$$0<p<1$

$\ell_0$$\ell_0$$0$$\ell_p$$1$$\ell_p \to \ell_0$$p\to 0$

$\ell_1 / \ell_2$$\ell_1 / \ell_2$