Jaka jest pochodna funkcji aktywacji ReLU?

16

Jaka jest pochodna funkcji aktywacji ReLU zdefiniowana jako:

ReLU(x)=max(0,x)

Co ze szczególnym przypadkiem, w którym występuje nieciągłość funkcji przy ?x=0

Tom Hale
źródło

Odpowiedzi:

17

Pochodna to:

f(x)={0if x<01if x>0

I niezdefiniowany w .x=0

Przyczyną tego, że jest niezdefiniowany przy jest to, że jego lewa i prawa pochodna nie są równe.x=0

Jim
źródło
1
01x=0
2
Konwencja jest taka, że ​​drdx = 1 (x> 0)
neuroguy123
f(0)=12
3
@ Nawiasem mówiąc, TomHale, patrz odpowiedź Nouroz Rahman na quora.com/… : „[...] Moim zdaniem we wbudowanych funkcjach bibliotecznych (na przykład tf.nn.relu()
Jim