Dlaczego skorygowane jednostki liniowe są uważane za nieliniowe?

RELU to nieliniowości. Aby pomóc Twojej intuicji, rozważ bardzo prostą sieć z 1 jednostką wejściową $x$ , 2 jednostkami ukrytymi $y_i$ i 1 jednostką wyjściową $z$ . Dzięki tej prostej sieci moglibyśmy wdrożyć funkcję wartości bezwzględnej,

z = max (0, x) + max (0, - x),

$z = \max(0, x) + \max(0, -x),$

lub coś, co wygląda podobnie do powszechnie stosowanej funkcji sigmoidalnej,

z = max (0, x + 1) - max (0, x - 1) .

$z = \max(0, x + 1) - \max(0, x - 1).$

Łącząc je w większe sieci / używając więcej ukrytych jednostek, możemy przybliżyć dowolne funkcje.

$\hskip2in$ Funkcja sieci RELU

Lucas
źródło

Czy tego typu ręcznie skonstruowane ReLus byłyby budowane apriori i kodowane jako warstwy? Jeśli tak, to skąd miałbyś wiedzieć, że twoja sieć wymaga jednego z tych specjalnie zbudowanych ReLusów?

Monica Heddneck,

@MonicaHeddneck Możesz określić własne nieliniowości, tak. Tym, co sprawia, że jedna funkcja aktywacji jest lepsza od drugiej, jest stały temat badań. Na przykład używaliśmy sigmoidów, , ale z powodu problemu znikającego gradientu, ReLU stały się bardziej popularne. Więc to od Ciebie zależy, czy użyjesz różnych funkcji aktywacji nieliniowości.

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1 + e^{-x}}$

Tarin Ziyaee,

Jak oszacowałbyś przy ReLU poza próbką?

e^{x}

$e^x$

Aksakal

@Lucas, Więc w zasadzie, jeśli łączymy (+)> 1 ReLU, możemy przybliżać dowolną funkcję, ale czy po prostu reLu(reLu(....))zawsze będzie ona liniowa? Również tutaj zmieniacie się xna x+1, które można by pomyśleć jako miejsce, w Z=Wx+bktórym zmienia się W & b, aby dać różne warianty tego rodzaju xi x+1?

anu

Dlaczego skorygowane jednostki liniowe są uważane za nieliniowe?

Odpowiedzi: