Jak duży powinien być rozmiar partii dla stochastycznego spadku gradientu?

Rozumiem, że stochastyczne zejście gradientu może być wykorzystane do optymalizacji sieci neuronowej z wykorzystaniem propagacji wstecznej poprzez aktualizację każdej iteracji inną próbką zestawu danych szkoleniowych. Jak duży powinien być rozmiar partii?

„Wielkość próbki” mówisz jest określany jako wielkości partii , . Parametr wielkości partii jest tylko jednym z hiperparametrów, które będziesz dostrajać, gdy trenujesz sieć neuronową przy użyciu mini-partii Stochastic Gradient Descent (SGD) i jest zależny od danych. Najbardziej podstawową metodą wyszukiwania hiperparametrowego jest przeszukiwanie siatki na podstawie szybkości uczenia się i wielkości partii w celu znalezienia pary, która powoduje, że sieć się zbiega.$B$

Aby zrozumieć, jaki powinien być rozmiar partii, ważne jest, aby zobaczyć związek między spadkiem gradientu partii, SGD online i SGD mini-partii. Oto ogólna formuła kroku aktualizacji wagi w SGD mini-partii, który jest uogólnieniem wszystkich trzech typów. [ 2 ]

$$\theta_{t+1} \leftarrow \theta_{t} - \epsilon(t) \frac{1}{B} \sum\limits_{b=0}^{B - 1} \dfrac{\partial \mathcal{L}(\theta, \textbf{m}_b)}{\partial \theta}$$

1. Spadek gradientu partii, $B = |x|$
2. Stochastyczne opadanie gradientu online: $B = 1$
3. Spadek gradientu stochastycznego w małych partiach: ale B < | x | .$B > 1$$B < |x|$

Zauważ, że przy 1 funkcja straty nie jest już zmienną losową i nie jest przybliżeniem stochastycznym.

SGD zbiega się szybciej niż normalne opadanie gradientu „partii”, ponieważ aktualizuje wagi po spojrzeniu na losowo wybrany podzbiór zestawu treningowego. Niech będzie naszym zestawem treningowym i niech m ⊂ x . Wielkość partii B to po prostu liczność m : B = | m | .$x$$m \subset x$$B$$m$$B = |m|$

Opadanie gradientu wsadowego aktualizuje wagi przy użyciu gradientów całego zestawu danych x ; podczas gdy SGD aktualizuje wagi przy użyciu średniej gradientów dla mini-partii m . (Użycie średniej zamiast sumy uniemożliwia algorytmowi podejmowanie zbyt dużych kroków, jeśli zbiór danych jest bardzo duży. W przeciwnym razie konieczne byłoby dostosowanie szybkości uczenia się w oparciu o rozmiar zbioru danych.) Oczekiwana wartość tego stochastyczne przybliżenie gradientu stosowanego w SGD jest równe gradientowi deterministycznemu stosowanemu przy opadaniu gradientu okresowego. E [ ∇ L S G D ( θ , m ) ] = $\theta$$x$$m$ .$\mathbb{E}[\nabla \mathcal{L}_{SGD}(\theta, \textbf{m})] = \nabla \mathcal{L}(\theta, \textbf{x})$

Za każdym razem, gdy pobieramy próbkę i aktualizujemy nasze wagi, nazywa się to mini-partią . Za każdym razem, gdy przeglądamy cały zestaw danych, nazywa się to epoką .

Powiedzmy, że mamy jakiś wektor danych , początkowy wektor ciężaru, który parametryzuje naszą sieć neuronową, θ 0 : R S , oraz funkcję straty L ( θ , x ) : R S → R D → R S , którą próbują zminimalizować. Jeśli mamy przykłady treningu T i wielkość partii B , możemy podzielić te przykłady treningu na mini-partie C:$\textbf{x} : \mathbb{R}^D$$\theta_0 : \mathbb{R}^{S}$$\mathcal{L}(\theta, \textbf{x}) : \mathbb{R}^{S} \rightarrow \mathbb{R}^{D} \rightarrow \mathbb{R}^S$$T$$B$

$$C = \lceil T / B \rceil$$

Dla uproszczenia możemy założyć, że T jest równomiernie podzielne przez B. Chociaż, gdy tak nie jest, jak to często bywa, nie należy przypisywać odpowiedniej masy każdej mini-partii w zależności od jej wielkości.

Algorytm iteracyjny dla SGD z epokami podano poniżej:$M$

$$\begin{align*} t &\leftarrow 0 \\ \textrm{while } t &< M \\ \theta_{t+1} &\leftarrow \theta_{t} - \epsilon(t) \frac{1}{B} \sum\limits_{b=0}^{B - 1} \dfrac{\partial \mathcal{L}(\theta, \textbf{m}_b)}{\partial \theta} \\ t &\leftarrow t + 1 \end{align*}$$

Uwaga: w prawdziwym życiu odczytujemy te przykładowe dane treningowe z pamięci i, ze względu na wstępne pobieranie pamięci podręcznej i inne sztuczki pamięci wykonywane przez komputer, algorytm będzie działał szybciej, jeśli dostęp do pamięci zostanie połączony , tj. Podczas odczytu pamięci w kolejności i nie skacz losowo. Dlatego większość implementacji SGD przetasowuje zestaw danych, a następnie ładuje przykłady do pamięci w kolejności, w której zostaną odczytane.

Główne parametry opisane powyżej SGD waniliowego (bez pędu) to:

1. Uczenie Oceń: $\epsilon$

Lubię myśleć o epsilon jako funkcji od liczby epok do szybkości uczenia się. Ta funkcja nazywa się harmonogramem uczenia się .

$$\epsilon(t) : \mathbb{N} \rightarrow \mathbb{R}$$

Jeśli chcesz ustawić stałą naukę, po prostu zdefiniuj epsilon jako funkcję stałą.

2. Wielkość partii

Rozmiar partii określa, ile przykładów obejrzysz przed wykonaniem aktualizacji wagi. Im jest niższy, tym głośniejszy będzie sygnał treningowy, im wyższy, tym dłużej potrwa obliczanie gradientu dla każdego kroku.

Cytaty i dalsze czytanie:

1. Wprowadzenie do nauki opartej na gradientach
2. Praktyczne zalecenia dotyczące gradientowego szkolenia głębokich architektur
3. Wydajny trening mini-partii dla optymalizacji stochastycznej