Qual é a derivada da função de ativação ReLU?

15

Qual é a derivada da função de ativação ReLU definida como:

ReLU(x)=max(0,x)

E o caso especial em que há uma descontinuidade na função em ?x=0

Tom Hale
fonte

Respostas:

17

A derivada é:

f(x)={0if x<01if x>0

E indefinido em .x=0

O motivo para não ser definido em é que suas derivadas esquerda e direita não são iguais.x=0

Jim
fonte
1
0 01x=0 0
2
A convenção que é drdx = 1 (x> 0)
neuroguy123
@TomHale porque não usar f(0 0)=12? A implementação prática é outra questão e vale uma nova pergunta. Isso é apenas a matemática.
Jim
3
@TomHale, a propósito, veja a resposta de Nouroz Rahman em quora.com/… : "[...] Na minha opinião, nas funções tf.nn.relu()
Jim