Jakie są dobre masy początkowe w sieci neuronowej?

68

Właśnie usłyszałem, że dobrym pomysłem jest wybór początkowych wag sieci neuronowej z zakresu , gdzie jest liczba wejść do danego neuronu. Zakłada się, że zbiory są znormalizowane - średnia 0, wariancja 1 (nie wiem, czy to ma znaczenie). $(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})$ $d$

Dlaczego to dobry pomysł?

neural-networks normalization elmes
źródło

Zobacz moją pracę magisterską, strona 81, aby zapoznać się z technikami inicjalizacji.

Martin Thoma,

47

Zakładam, że używasz neuronów logistycznych i trenujesz metodą gradientu opadania / propagacji wstecznej.

Funkcja logistyczna jest zbliżona do płaskiej dla dużych dodatnich lub ujemnych danych wejściowych. Pochodna na wejściu wynosi około , ale przy pochodna wynosi około . Oznacza to, że jeśli wejście neuronu logistycznego wynosi , to dla danego sygnału treningowego neuron nauczy się około razy wolniej niż gdyby sygnał wejściowy wynosił . $2$ $1/10$ $10$ $1/22000$ $10$ $2200$ $2$

Jeśli chcesz, aby neuron szybko się uczył, musisz albo wytworzyć ogromny sygnał treningowy (na przykład z funkcją utraty entropii krzyżowej), albo chcesz, aby pochodna była duża. Aby pochodna była duża, ustawia się początkowe wagi, aby często uzyskiwać dane wejściowe w zakresie . $[-4,4]$

Podane początkowe wagi mogą, ale nie muszą działać. To zależy od sposobu znormalizowania danych wejściowych. Jeśli dane wejściowe są znormalizowane w celu uzyskania średniej i odchylenia standardowego , to losowa suma terminów z wagami jednolitymi na będzie miał średnią i wariancję , niezależnie od . Prawdopodobieństwo otrzymania sumy poza jest niewielkie. Oznacza to, że gdy zwiększasz , nie powoduje to, że neurony zaczynają się nasycać, aby się nie nauczyły. $0$ $1$ $d$ $(\frac{-1}{\sqrt{d}},\frac{1}{\sqrt{d}})$ $0$ $\frac{1}{3}$ $d$ $[-4,4]$ $d$

W przypadku danych wejściowych, które nie są znormalizowane, wagi te mogą nie być skuteczne w unikaniu nasycenia.

Douglas Zare
źródło

1

Zasadniczo zawsze należy przynajmniej rozważyć normalizację danych. Teraz ma to sens. Czy możesz wyjaśnić, dlaczego odchylenie standardowe będzie wynosić 1/3 i jak małe jest prawdopodobieństwo sumy wejściowej poza zakresem <-4,4>?

elmes

1

Istnieją pewne podstawowe właściwości wariancji, które implikują to: Jeśli i są niezależne, to i jeśli i są niezależne i mają średnią , a następnie .

X

$X$

Y

$Y$

Var (X + Y) = Var (X) + Var (Y)

$\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y)$

X

$X$

Y

$Y$

0

$0$

Var (X * Y) = Var (X) * Var (Y)

$\text{Var}(X*Y) = \text{Var}(X)*\text{Var}(Y)$

Douglas Zare

1

Można oszacować prawdopodobieństwo, że zmienna losowa jest oddalona o co najmniej standardowych odchyleń od średniej, używając nierówności Czebyszewa. W praktyce nie jest to ostre, ale dokładny wynik zależy od rozkładu.

12

$12$

Douglas Zare

Nawiasem mówiąc, przeliczyłem się. Wariancja to więc standardowe odchylenie to .

\frac{1}{3}

$\frac{1}{3}$

\sqrt{\frac{1}{3}}

$\sqrt{\frac13}$

Douglas Zare

1

„Funkcja logistyczna jest bliska zeru dla dużych dodatnich lub ujemnych danych wejściowych. Pochodna na wejściu ...” Czy dany podmiot nie powinien być pochodną funkcji kosztu regresji logistycznej? Kiedy dane wejściowe do pochodnej funkcji kosztu są już skalowane przez funkcję logistyczną do (0,1) niezależnie od wielkości wag i sygnałów?

Moobie

28

[1] odpowiada na pytanie:

Po pierwsze, wagi nie powinny być ustawione na zera, aby złamać symetrię podczas wstecznego propagowania:

Białości można ogólnie inicjalizować na zero, ale wagi należy inicjować ostrożnie, aby przełamać symetrię między ukrytymi jednostkami tej samej warstwy. Ponieważ różne jednostki wyjściowe odbierają różne sygnały gradientu, ten problem łamania symetrii nie dotyczy wag wyjściowych (w jednostkach wyjściowych), które w związku z tym można również ustawić na zero.

Niektóre strategie inicjalizacji:

[2] i [3] zalecają skalowanie przez odwrotność pierwiastka kwadratowego wachlarza
Glorot i Bengio (2010) oraz samouczki Deep Learning wykorzystują kombinację włączania i wyłączania wentylatora:
- dla hiperbolicznych jednostek stycznych: próbkuj Uniform (-r, r) za pomocą (fan-in to liczba wejść urządzenia). $r=\sqrt{\frac{6}{\text{fan-in}+\text{fan-out}}}$
- dla jednostek sigmoidalnych: próbka Uniform (-r, r) z (fan-in to liczba wejść urządzenia). $r=4 \sqrt{\frac{6}{\text{fan-in}+\text{fan-out}}}$
w przypadku KMS, zerowa średnia gaussowska z niewielkim odchyleniem standardowym około 0,1 lub 0,01 działa dobrze (Hinton, 2010) w celu inicjalizacji wag.
Ortogonalna losowa inicjalizacja macierzy, tj. W = np.random.randn(ndim, ndim); u, s, v = np.linalg.svd(W)Następnie użycie ujako macierzy inicjalizacji.

Ponadto, w niektórych sytuacjach pomocne może być bezobsługowe szkolenie wstępne:

Ważnym wyborem jest to, czy w celu zainicjowania parametrów należy zastosować bezobsługowy trening wstępny (i który algorytm uczenia się funkcji bez nadzoru należy użyć). W większości ustawień znaleźliśmy bez nadzoru trening wstępny, który pomaga i bardzo rzadko boli, ale oczywiście oznacza to dodatkowy czas treningu i dodatkowe hiper-parametry.

Niektóre biblioteki ANN mają również kilka interesujących list, np. Lasagne :

Constant([val]) Initialize weights with constant value.
Normal([std, mean]) Sample initial weights from the Gaussian distribution.
Uniform([range, std, mean]) Sample initial weights from the uniform distribution.
Glorot(initializer[, gain, c01b])   Glorot weight initialization.
GlorotNormal([gain, c01b])  Glorot with weights sampled from the Normal distribution.
GlorotUniform([gain, c01b]) Glorot with weights sampled from the Uniform distribution.
He(initializer[, gain, c01b])   He weight initialization.
HeNormal([gain, c01b])  He initializer with weights sampled from the Normal distribution.
HeUniform([gain, c01b]) He initializer with weights sampled from the Uniform distribution.
Orthogonal([gain])  Intialize weights as Orthogonal matrix.
Sparse([sparsity, std]) Initialize weights as sparse matrix.

[1] Bengio, Joshua. „ Praktyczne zalecenia dotyczące gradientowego szkolenia głębokich architektur. ” Sieci neuronowe: Triki handlu. Springer Berlin Heidelberg, 2012. 437-478.

[2] LeCun, Y., Bottou, L., Orr, GB, i Muller, K. (1998a). Wydajny backprop. W sieciach neuronowych Tricks of the Trade .

[3] Glorot, Xavier i Yoshua Bengio. „ Zrozumienie trudności szkolenia głębokich sieci neuronowych ze sprzężeniem zwrotnym ”. Międzynarodowa konferencja na temat sztucznej inteligencji i statystyki. 2010 r.

Franck Dernoncourt
źródło

2

Chciałbym dodać dwa przydatne odniesienia: 1) Zagłębić się w prostowniki: przewyższające wydajność na poziomie ludzkim w klasyfikacji ImageNet - o znaczeniu skalowania uwzględniającego aktywację arxiv.org/abs/1502.01852 2) Dokładne rozwiązania nieliniowej dynamiki uczenie się w głębokich liniowych sieciach neuronowych arxiv.org/abs/1312.6120 - matryce ortonormalne są znacznie lepsze niż tylko szum Gaussa

old-ufo

1

Redaktor sugeruje, że inicjowanie sigmoidu i styczna hiperboliczna powinny zostać przełączone, aby pasowały do oryginalnego papieru.

gung

2

Chcesz zachować tę edycję, Frank? Jeśli nie, możesz go wycofać.

gung

Coś mi brakuje. Gdzie w artykule Glorot i Bengio (2010) powiedziano, że zaleca się stosowanie 4-krotności wartości równania 16 podczas korzystania z funkcji aktywacji logistycznej sigmoidu? Równanie 16 wynika z zastosowania równania 12 i wariancji rozkładu równomiernego, ale równanie 16 wyprowadza się przy założeniu symetrycznej aktywacji z pochodną jednostkową na 0. Zatem np. Funkcja aktywacji tanh, ale nie funkcja aktywacji logistycznej (niesymetryczna). Co więcej, nawet nie testują tej proponowanej inicjalizacji za pomocą logistycznej sigmoidu; testują to tylko z tanh i softsign.

Tommy L

10

< x_{i} >= 0

$<x_{i}> = 0$

< x_{i}^{2} >= 1

$<x_{i}^{2}> = 1$

Pytanie brzmi: jak najlepiej wybrać odważniki ?. Chodzi o to, aby losowo wybierać wartości wag po rozkładzie, który pomaga procesowi optymalizacji zbliżyć się do sensownego rozwiązania.

y = g (a)

$y = g(a)$

a = \sum_{i = 0}^{d} w_{i} x_{i}

$a = \sum_{i=0}^{d}w_{i}x_{i}$

< a >= \sum_{i = 0}^{d} < w_{i} x_{i} >= \sum_{i = 0}^{d} < w_{i} >< x_{i} >= 0

$<a> = \sum_{i=0}^{d}<w_{i}x_{i}> = \sum_{i=0}^{d}<w_{i}><x_{i}> = 0$

< a^{2} >= ⟨ (\sum_{i = 0}^{d} w_{i} x_{i}) (\sum_{i = 0}^{d} w_{i} x_{i}) ⟩ = \sum_{i = 0}^{d} < w_{i}^{2} >< x_{i}^{2} >= σ^{2} d

$<a^2> = \left<\left(\sum_{i=0}^{d}w_{i}x_{i}\right) \left(\sum_{i=0}^{d}w_{i}x_{i}\right)\right> = \sum_{i=0}^{d}<w_{i}^{2}><x_{i}^{2}> = \sigma^{2}d$

< w_{i} w_{j} >= δ_{i j}

$<w_{i}w_{j}> = \delta_{ij}$

juampa
źródło

< x_{i}^{2} >= 1

$<x_i^2> = 1$

0

$0$

σ

$\sigma$

α

$\alpha$

α

$\alpha$

α

$\alpha$

Jest to szczególnie prawdziwe w przypadku głębokich sieci neuronowych, w których jednostki szybko nasycają się podczas dodawania warstw. Istnieje wiele artykułów na ten temat. Dobrym punktem wyjścia może być: „Zrozumienie trudności szkolenia głębokich sieci neuronowych z wyprzedzeniem” przez glorot i bengio

jpmuc

10

Cóż, jako aktualizacja, zagłębiając się w prostowniki: przekraczając wydajność na poziomie ludzkim n Klasyfikacja ImageNet przez He i in. Wprowadziła inicjalizację konkretnie z inicjalizacją, w = U([0,n]) * sqrt(2.0/n)gdzie njest liczba danych wejściowych Twojej NN. Widziałem tę inicjalizację w wielu najnowszych pracach (także w ReLU). W rzeczywistości pokazują, w jaki sposób zaczyna to obniżać wskaźnik błędów znacznie szybciej niż (-1 / n, 1 / n), o których wspomniałeś. Aby uzyskać dokładne wyjaśnienie, zobacz artykuł, ale oto, jak szybko się zbiega:

Ambodi
źródło

Łał! Znacząca poprawa dla mnie.

Thomas W

Jednak nie dla dużej liczby danych wejściowych ... nie działa z MNIST.

Thomas W

Zauważ, że inicjalizacja He jest specjalnie zaprojektowana dla (P) ReLU i uwzględnia fakt, że nie jest symetryczna (co jest jednym z założeń inicjalizacji Xaviera). Nie daj się zwieść temu wykresowi poza kontekstem!

Pan Tsjolder

5

Chodzi o to, że chcesz zainicjować wagi w sposób zapewniający dobry przepływ danych do przodu i do tyłu przez sieć. Oznacza to, że nie chcesz, aby aktywacje stale się zmniejszały lub zwiększały w miarę postępów w sieci.

Ten obraz pokazuje aktywacje 5-warstwowego wielowarstwowego perceptronu ReLU w ramach 3 różnych strategii inicjalizacji po jednym przejściu MNIST przez sieć.

Aktywacje w ReLU MLP z różnymi strategiami inicjalizacji

We wszystkich trzech przypadkach wagi są pobierane z rozkładu normalnego wyśrodkowanego na zero, który jest określony przez jego odchylenie standardowe. Widać, że jeśli początkowe ciężary są zbyt małe (odchylenie standardowe jest małe), aktywacje zostają uduszone, a jeśli są zbyt duże, aktywacje wybuchają. Średnią wartość, która jest w przybliżeniu prawidłowa, można znaleźć, ustawiając wagi tak, aby wariancja aktywacji i aktualizacji gradientu pozostała w przybliżeniu taka sama, jak w sieci.

Napisałem wpis na blogu o inicjalizacji wagi, który jest bardziej szczegółowy, ale podstawowa idea jest następująca.

$x^{(i)}$ $i$ $n_i$ $w^{(i)}$ $(i+1)$ $f$ $f'(s) \approx 1$

Var (x^{(i + 1)}) = n_{i} Var (x^{(i)}) Var (w^{(i)})

$\text{Var}(x^{(i+1)}) = n_i \text{Var}(x^{(i)}) \text{Var}(w^{(i)})$

$\text{Var}(x^{(i+1)}) = \text{Var}(x^{(i)})$

Var (w^{(i)}) = \frac{1}{n_{i}} .

$\text{Var}( w^{(i)}) = \frac{1}{n_i}\,.$

$\frac{\partial L}{\partial x_j^{(i)}}$ $\Delta_j^{(i)}$

Var (Δ^{(i)}) = n_{i + 1} Var (Δ^{(i + 1)}) Var (w^{(i)}) .

$\text{Var}(\Delta^{(i)} ) = n_{i+1} \text{Var}(\Delta^{(i+1)}) \text{Var}(w^{(i)})\,.$

$n_i = n_{i+1}$

Var (w^{(i)}) = \frac{2}{n_{i} + n_{i + 1}} .

$\text{Var}(w^{(i)}) = \frac{2}{n_i+n_{i+1}}\,.$

$N(0, \sigma)$ $\sigma = \sqrt{\frac{2}{n_i + n_{i+1}}}$ $U(-a, a)$ $a = \sqrt{\frac{6}{n_i+n_{i+1}}}$ $\text{Var} \left( U(-a,a) \right) = a^2/3$

$\tanh$ $\text{ReLU}$ $f(s) = \text{ReLU}(s)$

Var (w^{(i)}) = \frac{2}{n_{i}} .

$\text{Var}(w^{(i)}) = \frac{2}{n_i}\,.$

Andre P.
źródło

3

μ_{B} = \frac{1}{m} \sum_{i = 1}^{M} x_{i} a n d σ_{B}^{2} = \frac{1}{m} \sum_{i = 1}^{m} (x_{i} - μ_{B})^{2} {\hat{x}}_{i} = \frac{x_{i} - μ_{B}}{\sqrt{σ_{B}^{2} + ϵ}} a n d B N (x_{i}) = γ {\hat{x}}_{i} + β

$\mu_B = \frac{1}{m}\sum_{i=1}^{M}x_i~~~and~~~ \sigma_{B}^{2} = \frac{1}{m}\sum_{i=1}^{m}(x_i - \mu_B)^{2} \\ \hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_{B}^{2} + \epsilon}}~~~and~~~BN(x_i) = \gamma \hat{x}_i + \beta$

x_{i}

$x_i$

B N (x_{i})

$BN(x_i)$

{\hat{x}}_{i}

$\hat{x}_i$

γ

$\gamma$

β

$\beta$

$\gamma$ $\beta$ $\hat{x}_i$ $x_i$ $x_i$ $\hat{x}_i$ $\beta$ $\gamma$ podczas treningu. W ten sposób normalizacja partii stabilizuje uczenie się.

W rezultacie normalizacja partii umożliwia szybsze szkolenie dzięki wykorzystaniu znacznie wyższych wskaźników uczenia się i łagodzi problem złej inicjalizacji. BN umożliwia także stosowanie nieliniowości nasycania, zapobiegając utknięciu sieci w trybach nasycenia. Podsumowując, Normalizacja wsadowa to transformowalna zmienna, która wprowadza znormalizowane aktywacje do sieci. W praktyce warstwę BN można wstawić natychmiast po w pełni połączonej warstwie.

Vadim Smolyakov
źródło

Jakie są dobre masy początkowe w sieci neuronowej?

Odpowiedzi: