119

Odnosząc się do notatek z kursu Stanford na temat sieci neuronowych splotowych do rozpoznawania wzrokowego , akapit mówi:

„Niestety jednostki ReLU mogą być kruche podczas treningu i mogą„ umrzeć ”. Na przykład duży gradient przepływający przez neuron ReLU może spowodować aktualizację wag w taki sposób, że neuron nigdy więcej się nie aktywuje w żadnym punkcie danych. Jeśli to tak się stanie, wtedy gradient przepływający przez jednostkę będzie odtąd zawsze wynosił zero. Oznacza to, że jednostki ReLU mogą nieodwracalnie umrzeć podczas treningu, ponieważ mogą zostać zrzucone z rozmaitości danych. Na przykład może się okazać, że aż 40 % sieci może być „martwy” (tj. neurony, które nigdy nie aktywują się w całym zbiorze danych szkoleniowych), jeśli szybkość uczenia się jest ustawiona na zbyt wysoką wartość. Przy właściwym ustawieniu szybkości uczenia się jest to mniejszy problem. ”

Co oznacza tutaj umieranie neuronów?

Czy możesz podać intuicyjne wyjaśnienie w prostszych terminach.

machine-learning neural-network deep-learning tejaskhot
źródło

2

Czy ktoś może znaleźć odniesienie do jakiegoś artykułu naukowego na temat „martwych neuronów”? Ponieważ jest to pierwszy wynik prób Google, byłoby świetnie, gdyby to pytanie było edytowane za pomocą odwołania.

Marek Židek

czy możemy zapobiec tendencyjności poprzez regularyzację w celu rozwiązania tego problemu?

Len.

3

Kolesie, którym udało mi się zrewitalizować martwe neurony relu, podając nowe losowe (normalnie rozmieszczone) wartości w każdej epoce dla wag <= 0. Używam tej metody tylko razem z zamrażaniem ciężarów na różnych głębokościach, ponieważ trening kontynuuje do wyższych epok (I ' Nie jestem pewien, czy to właśnie nazywamy przejściem fazowym. Może teraz korzystać z wyższych wskaźników uczenia się, zapewnia lepszą ogólną dokładność (testowane tylko przy regresji liniowej). Jest to naprawdę łatwe do wdrożenia.

boli

1

@boli, możesz podzielić się swoją implementacją tutaj?

anu

120

„Martwa” ReLU zawsze wypisuje tę samą wartość (zero, jak to się dzieje, ale to nie jest ważne) dla każdego wejścia. Prawdopodobnie osiąga się to poprzez naukę dużego negatywnego terminu obciążenia dla jego wag.

To z kolei oznacza, że nie odgrywa żadnej roli w rozróżnianiu danych wejściowych. Do celów klasyfikacji można to wyobrazić jako płaszczyznę decyzyjną poza wszystkimi możliwymi danymi wejściowymi.

Gdy ReLU znajdzie się w tym stanie, jest mało prawdopodobne, aby odzyskać, ponieważ gradient funkcji przy 0 jest również równy 0, więc uczenie się spadku gradientu nie zmieni wag. „Nieszczelne” jednostki ReLU z niewielkim dodatnim gradientem dla negatywnych danych wejściowych ( y=0.01xgdy x <0 powiedzą) to jedna próba rozwiązania tego problemu i szansa na odzyskanie.

Neurony sigmoidalne i tanh mogą cierpieć z powodu podobnych problemów, ponieważ ich wartości są nasycone, ale zawsze istnieje co najmniej mały gradient pozwalający im odzyskać się w dłuższej perspektywie.

Neil Slater
źródło

7

Dobry komentarz i warto też wspomnieć wykładniczego jednostek liniowych (ELUs), które mogą pomóc w tej kwestii podczas wizyty w lepszy sposób: arxiv.org/abs/1511.07289

Padura

14

@alex: Ponieważ odchylenie jest bardzo ważne dla dokładności. Pozbycie się uprzedzeń jest bardzo podobne do powiedzenia, że wszystkie samoloty decyzyjne muszą przejść przez pochodzenie - z kilkoma wyjątkami jest to zły wybór. W rzeczywistości pozbycie się stronniczości w sieci neuronowej lub powiązanych modelach (takich jak regresja liniowa lub regresja logistyczna) zwykle oznacza, że twój model będzie cierpiał z powodu błędu! Jest to jeden z niewielu sposobów, w jaki możesz skończyć z modelem, który jest jednocześnie niedopasowany i przełożony w tym samym czasie,,

Neil Slater,

1

@Alex: Myślę, że dodawanie małego pozytywnego nastawienia do ReLU jest powszechne. Nie wiem, czy to pomaga w „umierającym problemie ReLU” - prawdopodobnie nie zmieniłoby to liczbowo wartości gradientu bardzo dużo (ponieważ gradient ma wartość 1 lub 0 dla ReLU, a gdy jest to 1, może on przekroczyć, a małe początkowe odchylenie wydaje się mieć niewielką różnicę). Przede wszystkim myślę, że to tylko sztuczka, aby dodać niewielkiego przyspieszenia do początkowej nauki - ale może to pomóc, zapewniając lepszy start i generalnie wcześniej niższy gradient.

Neil Slater,

1

@max: Brakuje części odpowiedzi „dla dowolnego wejścia”. Żaden gradient nie popłynie do żadnej masy związanej z „martwym” neuronem w sieci sprzężenia zwrotnego , ponieważ wszystkie ścieżki do tych wag są przecięte - nie ma alternatywnych ścieżek dla gradientu przepływającego do podzbioru ciężarów zasilających tę jednostkę ReLU. Możesz zobaczyć ReLU np. W CNN lub jako posiadające wspólne wagi, w którym to przypadku wszystkie lokalizacje na mapie obiektów musiałyby zostać wyzerowane jednocześnie. Widziałbym to jednak jako kolejną instancję „dla dowolnego wejścia”.

Neil Slater

1

@anu: Przez opadanie gradientu. Duży gradient dodatni, spowodowany dużą wartością błędu, może z kolei spowodować, że jeden krok terminu polaryzacji będzie na tyle duży, że „zabije” neuron, tak że osiągnie stan (dla wag i polaryzacji), który w przyszłości zostanie wprowadzony do funkcji ReLU nigdy nie wzrośnie powyżej zera

Neil Slater

102

Zobaczmy, jak wygląda ReLU (Rectified Linear Unit):

$x_n$

z_{n} = \sum_{i = 0}^{k} w_{i} a_{i}^{n}

$z_n=\sum_{i=0}^k w_i a^n_i$

w_{i}

$w_i$

a_{i}^{n}

$a^n_i$

x_{n}

$x_n$

R e L U = m a x (0, z_{n})

$ReLU = max(0,z_n)$

Zakładając bardzo prosty miernik błędu

e r r o r = R e L U - y

$error = ReLU - y$

\frac{\partial e r r o r}{\partial z_{n}} = δ_{n} = {\begin{array}{cl} 1 & z_{n} \geq 0 \\ 0 & z_{n} < 0 \end{array}

$\frac{\partial error}{\partial z_n} = \delta_n = \left\{ \begin{array}{c l} 1 & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$

w_{j}

$w_j$

\nabla e r r o r = \frac{\partial e r r o r}{\partial w_{j}} = \frac{\partial e r r o r}{\partial z_{n}} \times \frac{\partial z_{n}}{\partial w_{j}} = δ_{n} \times a_{j}^{n} = {\begin{matrix} a_{j}^{n} & z_{n} \geq 0 \\ 0 & z_{n} < 0 \end{matrix}

$\nabla error = \frac{\partial error}{\partial w_j}=\frac{\partial error}{\partial z_n} \times \frac{\partial z_n}{\partial w_j} = \delta_n \times a_j^n = \left\{ \begin{array}{c 1} a_j^n & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$

$=$ $x_n$

$x_n$ $x_*$

$z_n < 0$

$ReLU=max(0.1x,x)$

MohamedEzz
źródło

Czy nie zapominasz o wyrażeniu odchylenia we wzorze na dane wejściowe do prostownika?

Tom Hale

Myślę, że postępowałem zgodnie z zapisem niektórych podręczników, które zakładają, że a_0 = 1 dla wszystkich warstw, a w_0 to błąd systematyczny. Odchylenie nie jest ważne, więc i tak lepiej je pominąć

MohamedEzz,

@MohamedEzz, nie rozumiem twojego punktu

What if, for the input 𝑥𝑛, the current weights put the ReLU on the left flat side while it optimally should be on the right side for this particular input ?

, jeśli dane wejściowe są ujemne, gradient wynosiłby 0? co jest optymalne dla tego przypadku? czy mógłbyś pomóc w zrozumieniu tego?

anu

1

Przez „optymalne” rozumiałem, że jeśli sieć ma lepsze przewidywanie dla tego wejścia, musi wyregulować wagi, aby ReLU podała wartość dodatnią, nie byłby w stanie dokonać tej korekty ze względu na gradient 0, który ma na płaskiej stronie.

MohamedEzz

Niesamowita odpowiedź. Dzięki

David Refaeli,

13

Neurony ReLU wytwarzają zero i mają zerowe pochodne dla wszystkich ujemnych sygnałów wejściowych. Tak więc, jeśli wagi w twojej sieci zawsze prowadzą do ujemnych danych wejściowych do neuronu ReLU, neuron ten faktycznie nie przyczynia się do szkolenia sieci. Matematycznie udział gradientu w aktualizacjach masy pochodzących z tego neuronu jest zawsze równy zero (więcej szczegółów znajduje się w dodatku matematycznym).

$L(W)$ $L$ $L$ $W$ $L$

Zasadniczo to, co się dzieje, zależy od tego, jak informacje przepływają przez sieć. Możesz sobie wyobrazić, że w miarę trwania treningu wartości wytwarzane przez neurony mogą dryfować i umożliwiać ciężarówkom zabicie całego przepływu danych przez niektóre z nich. (Czasami mogą pozostawić te niekorzystne konfiguracje z powodu aktualizacji wagi wcześniej w sieci!). Badałem ten pomysł w poście na blogu o inicjalizacji wagi - która może również przyczynić się do tego problemu - i jej związku z przepływem danych. Myślę, że mój punkt tutaj można zilustrować fabułą z tego artykułu:

Aktywacje w ReLU MLP z różnymi strategiami inicjalizacji

Wykres wyświetla aktywacje w 5-warstwowym Perceptronie wielowarstwowym z aktywacjami ReLU po jednym przejściu przez sieć z różnymi strategiami inicjalizacji. Widać, że w zależności od konfiguracji wagi, wyjścia twojej sieci mogą zostać zdławione.

Dodatek matematyczny

$L$ $x_j^{(i)}$ $j$ $i$ $f(s) = \max(0, s)$ $s^{(i)}_j$ $(i+1)$ $i$ $(i+1)$

\frac{\partial L}{\partial w_{j k}^{(i)}} = \frac{\partial L}{\partial x_{k}^{(i + 1)}} \frac{\partial x_{k}^{(i + 1)}}{\partial w_{j k}^{(i)}} .

$\frac{\partial L}{\partial w_{jk}^{(i)}} = \frac{\partial L}{\partial x_k^{(i+1)}} \frac{\partial x_k^{(i+1)}}{\partial w_{jk}^{(i)}}\,.$

Pierwszy termin po prawej stronie można wyliczyć rekurencyjnie. Drugi termin po prawej to jedyne miejsce bezpośrednio związane z wagą i można je podzielić na $w_{jk}^{(i)}$

\begin{aligned} \frac{\partial x_{k}^{(i + 1)}}{\partial w_{j k}^{(i)}} & = \frac{\partial f (s_{j}^{(i)})}{\partial s_{j}^{(i)}} \frac{\partial s_{j}^{(i)}}{\partial w_{j k}^{(i)}} \\ = f^{'} (s_{j}^{(i)}) x_{j}^{(i)} . \end{aligned}

$\begin{align*} \frac{\partial{x_k^{(i+1)}}}{\partial w_{jk}^{(i)}} &= \frac{\partial{f(s^{(i)}_j)}}{\partial s_j^{(i)}} \frac{\partial s_j^{(i)}}{\partial w_{jk}^{(i)}} \\ &=f'(s^{(i)}_j)\, x_j^{(i)}. \end{align*}$

Z tego widać, że jeśli wyniki są zawsze ujemne, wagi prowadzące do neuronu nie są aktualizowane, a neuron nie przyczynia się do uczenia się.

Andre P.
źródło

świetne wyjaśnienie !, czy mógłbyś mi pomóc zrozumieć, w

Therefore, if your inputs are on roughly the same scale, a large step in the direction of the gradient can leave you with weights that give similar inputs which can end up being negative.

jaki sposób wagi stają się ujemne, jeśli dane wejściowe są znormalizowane?

anu

@anu Aktualizacja wagi to , więc jeśli zrobisz duży krok, co oznacza w tym przypadku wybranie dużej , a jeśli jest dodatni, możesz zobaczyć, że może stać się negatywny. Jest to szczególnie złe, jeśli zaktualizujemy odchylenie, aby było dużą wartością ujemną.

w - λ \cdot d w

$w - \lambda \cdot \mathrm dw$

λ

$\lambda$

d w

$\mathrm dw$

w

$w$

Johnson

@JohnsonJia, świetnie, mam to :), potrzebne jest jeszcze jedno wyjaśnienie, dlaczego jest to szczególnie złe w przypadku odchylenia w porównaniu do wagi, ponieważ ujemny wkład może mieć zarówno wagę, jak i odchylenie, popraw mnie, jeśli się mylę.

anu

Ponieważ odchylenie nie jest modyfikowane przez dane wejściowe: , więc jeśli jest bardzo ujemne, może pozostać ujemne dla wszystkich wartości .

z = w \cdot x + b

$z = w \cdot x + b$

b

$b$

z

$z$

x

$x$

Johnson

5

Mówiąc dokładniej w języku, podczas gdy lokalny gradient ReLU (który wynosi ) pomnaża gradient, który płynie wstecz z powodu propagacji wstecznej, wynikiem zaktualizowanego gradientu może być duża liczba ujemna (jeśli gradient ten płynie powrót jest dużą liczbą ujemną). $1$

Tak duży ujemny zaktualizowany gradient wytwarza duży ujemny gdy szybkość uczenia się jest względnie duża, dlatego będzie tłumić aktualizacje, które będą miały miejsce w tym neuronie, ponieważ prawie niemożliwe jest ustawienie dużej liczby dodatniej w celu zrekompensowania dużej liczby ujemnej spowodowanej przez to „ zepsuty " . $w_i$ $w_i$

Misairu
źródło

4

„Dying ReLU” odnosi się do neuronu, który generuje 0 dla danych w zestawie treningowym. Dzieje się tak, ponieważ suma danych wejściowych wagi * w neuronie (zwana także aktywacją ) wynosi <= 0 dla wszystkich wzorców wejściowych. Powoduje to, że ReLU wyprowadza wartość 0. Ponieważ pochodna ReLU ma w tym przypadku wartość 0, nie dokonuje się aktualizacji wagi, a neuron utknął na wyjściu 0.

Ważne uwagi:

Umieranie ReLU nie oznacza, że wyjście neuronu również pozostanie zerowe w czasie testu. W zależności od różnic w dystrybucji może tak być lub nie.
Umierająca ReLU nie jest permanentnie martwa. Jeśli dodasz nowe dane treningowe lub użyjesz wstępnie wyszkolonego modelu do nowego treningu, neurony te mogą się wycofać!
Technicznie umierająca ReLU nie musi generować wartości 0 dla WSZYSTKICH danych treningowych. Może się zdarzyć, że dla niektórych danych generuje wartość niezerową, ale liczba epok nie jest wystarczająca do znacznego przesunięcia wag.

Shital Shah
źródło

Na czym polega problem „umierania ReLU” w sieciach neuronowych?

Odpowiedzi:

Dodatek matematyczny