Existem muitos métodos para executar a regularização - regularização baseada na norma , L 1 e L 2, por exemplo. De acordo com Friedman Hastie e Tibsharani , o melhor regularizador depende do problema: a natureza da verdadeira função do alvo, a base específica usada, a relação sinal / ruído e o tamanho da amostra.
Existe alguma pesquisa empírica comparando métodos e desempenho de vários métodos de regularização?
r
regression
machine-learning
regularization
Ram Ahluwalia
fonte
fonte
Respostas:
Vamos considerar um modelo linear penalizado.
fonte
Algumas adições à resposta de @Donbeo
1) A norma L0 não é uma norma no verdadeiro sentido. É o número de entradas diferentes de zero em um vetor. Esta norma não é claramente uma norma convexa e não é uma norma no verdadeiro sentido. Portanto, você pode ver termos como L0 'norma'. Torna-se um problema combinatório e, portanto, é NP difícil.
2) A norma L1 fornece uma solução esparsa (consulte o LASSO). Existem resultados seminais de Candes, Donoho etc., que mostram que, se a solução verdadeira for realmente escassa, os métodos penalizados por L1 a recuperarão. Se a solução subjacente não for escassa, você não obterá a solução subjacente nos casos em que p >> n. Há bons resultados que mostram que o Lasso é consistente.
3) Existem métodos como a rede Elastic de Zhou e Hastie que combinam soluções penalizadas de L2 e L1.
fonte