Escolho a função de ativação para a camada de saída, dependendo da saída necessária e das propriedades da função de ativação que conheço. Por exemplo, eu escolho a função sigmóide quando estou lidando com probabilidades, uma ReLU quando estou lidando com valores positivos e uma função linear quando...
Eu acho que a vantagem de usar Leaky ReLU em vez de ReLU é que, dessa maneira, não podemos ter gradiente de fuga. O ReLU paramétrico tem a mesma vantagem, com a única diferença de que a inclinação da saída para entradas negativas é um parâmetro que pode ser aprendido, enquanto que no Leaky ReLU é...
Acabei de me deparar com o conceito de cobertura de neurônios, que é a proporção de neurônios ativados e neurônios totais em uma rede neural. Mas o que significa um neurônio ser "ativado"? Eu sei o que são funções de ativação, mas o que significa ser ativado, por exemplo, no caso de uma ReLU ou uma...
Existem várias funções de ativação, como ReLU, sigmoid ou tanhtanh\tanh . O que acontece quando eu misturo funções de ativação? Recentemente, descobri que o Google desenvolveu a função de ativação Swish, que é (x * sigmoid). Ao alterar a função de ativação, ele pode aumentar a precisão de um...