Se a remoção de alguns neurônios resulta em um modelo com melhor desempenho, por que não usar uma rede neural mais simples com menos camadas e menos neurônios? Por que construir um modelo maior e mais complicado no começo e suprimir partes dele mais
Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:].
Conduzindo um modelo de regressão linear usando uma função de perda, por que devo usar vez da regularização ?eu1 1eu1 1L_1eu2eu2L_2 É melhor prevenir o sobreajuste? É determinístico (sempre uma solução única)? É melhor na seleção de recursos (porque produz modelos escassos)? Dispersa os pesos...
Existem trabalhos publicados que mostram diferenças nos métodos de regularização de redes neurais, preferencialmente em domínios diferentes (ou pelo menos diferentes conjuntos de dados)? Estou perguntando, porque atualmente tenho a sensação de que a maioria das pessoas parece usar apenas o...
Ao treinar redes neurais, há pelo menos quatro maneiras de regularizar a rede: Regularização L1 Regularização L2 Cair fora Normalização de lote além disso, é claro, outras coisas, como compartilhamento de peso e redução do número de conexões, que podem não ser regularização no sentido mais...