Czy próbki treningowe losowo losowane do treningu neuronowego należy pobierać bez wymiany?

Definiujemy epokę, która przeszła przez wszystkie dostępne próbki szkoleniowe, a rozmiar mini-partii jako liczbę próbek, w stosunku do której uśredniamy, aby znaleźć aktualizacje wag / odchyleń potrzebnych do zejścia z gradientu.

Moje pytanie brzmi: czy powinniśmy rysować bez zastępowania z zestawu przykładów treningu, aby wygenerować każdą mini-partię w epoce. Wydaje mi się, że powinniśmy unikać wymiany, aby upewnić się, że faktycznie „narysujemy wszystkie próbki”, aby spełnić wymóg końca epoki, ale mam problem ze znalezieniem ostatecznej odpowiedzi w ten czy inny sposób.

Próbowałem googlować i czytać Ch. 1 z sieci neuronowych i głębokiego uczenia Nielsena, ale nie znalazłem jasnej odpowiedzi. W tym tekście Nielsen nie określa, że ​​losowe próbkowanie powinno odbywać się bez zamiany, ale wydaje się sugerować, że tak jest.

W razie potrzeby można znaleźć jaśniejszą formalizację szkolenia w epokach - /stats//a/141265/131630

Edycja: to pytanie wydawało się podobne do mnie, ale nie było jasne, jak zastosować fakt, że liniowość oczekiwań jest niezależna od niezależności w tej sytuacji - czy próbkowanie powinno nastąpić z zastąpieniem lub bez

Dobra analiza teoretyczna zi bez zastępczych schematów w kontekście algorytmów iteracyjnych opartych na losowych losowaniach (które są przeszkodami dla wielu przeszkolonych głębokich sieci neuronowych (DNN)) można znaleźć tutaj

Krótko mówiąc, okazuje się, że pobieranie próbek bez zamiany prowadzi do szybszej konwergencji niż pobieranie próbek z zamianą.

Dam tutaj krótką analizę na podstawie dostarczonego przez nich przykładu zabawki: Powiedzmy, że chcemy zoptymalizować następującą funkcję celu:

$$x_{\text{opt}} = \underset{x}{\arg\min} \frac{1}{2} \sum_{i=1}^{N}(x - y_i)^2$$

gdzie cel . W tym przykładzie, staramy się rozwiązać za optymalny x , podanych N etykietach rw I oczywiście.$y_i \sim \mathcal{N}(\mu, \sigma^2)$$x$$N$$y_i$

Ok, więc jeśli mielibyśmy rozwiązać bezpośrednio dla powyższego optymalne , wówczas wzięlibyśmy pochodną funkcji straty tutaj, ustawiliśmy ją na 0 i rozwiązaliśmy dla x . Tak więc w naszym powyższym przykładzie strata jest$x$$x$

$$L = \frac{1}{2} \sum_{i=1}^{N}(x - y_i)^2$$

i jego pierwszą pochodną byłoby:

$$\frac{\delta L}{\delta x} = \sum_{i=1}^{N}(x - y_i)$$

Ustawienie do 0 i rozwiązanie dlax, daje:$\frac{\delta L}{\delta x}$$x$

$$x_{\text{opt}} = \frac{1}{N} \sum_{i=1}^{N} y_i$$

Innymi słowy, optymalne rozwiązanie jest niczym innym jak średnią próbki dla wszystkich próbek y .$N$$y$

Teraz, jeśli nie moglibyśmy wykonać powyższego obliczenia naraz, musielibyśmy to zrobić rekurencyjnie, korzystając z poniższego równania aktualizacji spadku gradientu:

$$x_i = x_{i-1} - \lambda_i \nabla(f(x_{i-1}))$$

a po prostu wstawienie tutaj naszych warunków daje:

$$x_{i} = x_{i-1} - \lambda_i (x_{i-1} - y_{i})$$

Jeśli prowadzimy wyżej dla wszystkich , to skutecznie wykonujemy tę aktualizację bez wymiany. Powstaje zatem pytanie: czy możemy w ten sposób uzyskać optymalną wartość x ? (Pamiętaj, że optymalna wartość x to nic innego jak średnia próbki y ). Odpowiedź brzmi tak, jeśli pozwolisz λ i = 1 / i . Aby to zobaczyć, rozszerzamy:$i \in {1, 2, ... N}$$x$$x$$y$$\lambda_i = 1/i$

$$x_{i} = x_{i-1} - \lambda_i (x_{i-1} - y_{i}) \\\ x_{i} = x_{i-1} - \frac{1}{i} (x_{i-1} - y_{i}) \\\ x_{i} = \frac{i x_{i-1} - (x_{i-1} - y_{i})}{i} \\\ x_{i} = \frac{(i - 1)x_{i-1} + y_{i}}{i} \\\ i x_{i} = (i - 1)x_{i-1} + y_{i} \\\ $$

Ostatnie równanie jest jednak niczym innym jak wzorem średniej bieżącej! Tak więc, gdy przechodzimy przez zestaw od , i = 2 itd. Aż do i = N , wykonalibyśmy nasze aktualizacje bez wymiany, a nasza formuła aktualizacji daje nam optymalne rozwiązanie$i=1$$i=2$$i=N$ , czyli próbka średnia!$x$

$$N x_{N} = (N - 1)x_{N-1} + y_{N} ==> x_N = \frac{1}{N}\sum_{i=1}^{N} y_i = \mu$$

W przeciwieństwie do tego, gdybyśmy faktycznie rysowali z zamianą, to podczas gdy nasze losowania byłyby wtedy naprawdę niezależne, zoptymalizowana wartość byłaby różna od (optymalnej) średniej μ , a błąd kwadratowy dałby:$x_N$$\mu$

$$\mathop{E}\{(x_N - \mu)^2\}$$

która będzie wartością dodatnią, a ten prosty przykład zabawki można rozszerzyć na większe wymiary. Powoduje to, że chcielibyśmy wykonywać próbkowanie bez wymiany jako bardziej optymalne rozwiązanie.

Mam nadzieję, że to wyjaśni to jeszcze bardziej!

Zgodnie z kodem w repozytorium Nielsena mini-partie są losowane bez zamiany:

    def SGD(self, training_data, epochs, mini_batch_size, eta, test_data=None):
    n = len(training_data)
    for j in range(epochs):
            random.shuffle(training_data)
            mini_batches = [
                training_data[k:k+mini_batch_size]
                for k in range(0, n, mini_batch_size)
            ]
            for mini_batch in mini_batches:
                self.update_mini_batch(mini_batch, eta)

Widzimy, że w epoce nie ma zamiany próbek treningowych. Co ciekawe, możemy również zauważyć, że Nielsen nie martwi się dostosowywaniem eta(szybkości uczenia się) ostatniej wielkości mini_batchu, która może nie mieć tylu próbek treningowych, jak poprzednie mini-partie. Przypuszczalnie jest to zaawansowana modyfikacja, którą zostawia w kolejnych rozdziałach. **

** EDYCJA: W rzeczywistości to skalowanie występuje w def update_mini_batchfunkcji. Na przykład z ciężarami:

self.weights = [w-(eta/len(mini_batch))*nw for w, nw in zip(self.weights, nabla_w)]     

Jest to konieczne, ponieważ ostatnia mini_batch może być mniejsza niż poprzednie mini_batch, jeśli liczba próbek treningowych na mini_batch nie dzieli się równomiernie na całkowitą liczbę dostępnych próbek treningowych.

mylist = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']
n = len(mylist)
mini_batch_size = 2
mini_batches = [
    mylist[k:k+mini_batch_size]
    for k in range(0, n, mini_batch_size)
    ]
for mini_batch in mini_batches:
    print(mini_batch)

Wynik:

['1', '2']
['3', '4']
['5', '6']
['7', '8']
['9', '10']

Zmiana mini_batch_sizena 3, która nie dzieli się równomiernie na nasze 10 próbek treningowych. Do produkcji otrzymujemy:

['1', '2', '3']
['4', '5', '6']
['7', '8', '9']
['10']

Gdy oceniamy zakres ponad indeksami listy (coś w formie [x:y]gdzie xi gdzie ysą niektóre indeksy na liście), jeśli nasza wartość po prawej stronie przekracza długość listy, python po prostu zwraca elementy z listy do góry, aż wartość wyjdzie poza zakres indeksu .

Tak więc ostatnia mini-partia może być mniejsza niż poprzednie mini-partie, ale jeśli jest ona ważona tak samo, etate próbki treningowe przyczynią się bardziej do uczenia się niż próbki z innych, większych mini-partii. Ponieważ jest to tylko ostatnia mini-partia, prawdopodobnie nie warto martwić się zbytnio, ale można ją łatwo rozwiązać, skalując etado długości mini-partii.