O que acontece quando eu misturo funções de ativação?
Existem várias funções de ativação, como ReLU, sigmoid ou tanhtanh\tanh . O que acontece quando eu misturo funções de ativação? Recentemente, descobri que o Google desenvolveu a função de ativação Swish, que é (x * sigmoid). Ao alterar a função de ativação, ele pode aumentar a precisão de um...