Jaka jest różnica między LeakyReLU i PReLU?

Myślałem, że zarówno PReLU, jak i Leaky ReLU są

f (x) = max (x, α x) with α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

Keras ma jednak obie funkcje w dokumentacji .

Nieszczelne ReLU

Źródło LeakyReLU :

return K.relu(inputs, alpha=self.alpha)

Stąd (patrz kod relu )

f_{1} (x) = max (0, x) - α max (0, - x)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PReLU

Źródło PReLU :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Stąd

f_{2} (x) = max (0, x) - α max (0, - x)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

Pytanie

Czy coś źle zrozumiałem? Czy i równoważne (przy założeniu ?) $f_1$ $f_2$ $f$ $\alpha \in (0, 1)$

neural-network Martin Thoma
źródło

Odpowiedzi:

Prosto z wikipedii :

Nieszczelne jednostki ReLU pozwalają na mały, niezerowy gradient, gdy jednostka nie jest aktywna.
Parametryczne ReLU posuwają ten pomysł dalej, przekształcając współczynnik wycieku w parametr, który jest uczony wraz z innymi parametrami sieci neuronowej.

Thomas W.
źródło

α

$\alpha$

α

$\alpha$

Jeśli chodzi o Google: w porządku . (Przy okazji, dla mnie to pytanie jest teraz trzecim wynikiem dla „Leaky ReLU vs. PReLU”)

Martin Thoma,

@MartinThoma true! Bez obrazy za to! Sposób, w jaki znalazłem odpowiedź, był również dość głupi; Nie wiedziałem, co to jest „P” w PReLU, więc doszedłem do tego, a potem spróbowałem dowiedzieć się, czym był PReLU, po prostu wpisując „Parametric ReLU”, co doprowadziło mnie do strony wikipedii. Nauczyłem się czegoś na dzień z powodu twojego pytania;)

Thomas W

Miły. Tak powinno być :-) W tym przypadku mój mały przegląd funkcji aktywacyjnych może być również dla ciebie interesujący. Artykuł jest (częściowo) w języku niemieckim, ale chyba ta część nie powinna mieć znaczenia

Martin Thoma,