Perguntas com a marcação «relu»

Quais são as vantagens de ReLU vs Leaky ReLU e Parametric ReLU (se houver)?

Eu acho que a vantagem de usar Leaky ReLU em vez de ReLU é que, dessa maneira, não podemos ter gradiente de fuga. O ReLU paramétrico tem a mesma vantagem, com a única diferença de que a inclinação da saída para entradas negativas é um parâmetro que pode ser aprendido, enquanto que no Leaky ReLU é...

O que acontece quando eu misturo funções de ativação?

Existem várias funções de ativação, como ReLU, sigmoid ou tanhtanh\tanh . O que acontece quando eu misturo funções de ativação? Recentemente, descobri que o Google desenvolveu a função de ativação Swish, que é (x * sigmoid). Ao alterar a função de ativação, ele pode aumentar a precisão de um...