O ile wiem, przyjmując Stochastic Gradient Descent jako algorytm uczenia się, ktoś używa „epoki” dla pełnego zestawu danych i „partii” dla danych wykorzystywanych w jednym kroku aktualizacji, podczas gdy inny używa odpowiednio „partii” i „minibatchu”, oraz inni używają „epoki” i „minibatchu”. To powoduje wiele zamieszania podczas dyskusji.
Jakie jest prawidłowe powiedzenie? Czy są to tylko dialekty, które są do zaakceptowania?
Jedna epoka zazwyczaj oznacza, że algorytm widzi każdą instancję szkolenia raz. Teraz zakładając, że masz wystąpień szkoleniowych:
Jeśli uruchomisz aktualizację wsadową, każda aktualizacja parametrów wymaga, aby algorytm widział każdą z instancji treningowych dokładnie raz, tj. Każdą epokę, w której parametry są aktualizowane raz.
Po uruchomieniu aktualizacji mini partii o wielkości partii = , każda zmiana parametru wymaga algorytmu patrz z wystąpień treningowych, czyli każda epoka twoje parametry są zaktualizowane informacje czasów.
Jeśli uruchomisz aktualizację SGD, każda aktualizacja parametrów wymaga, aby algorytm widział 1 z instancji szkoleniowych, tj. W każdej epoce twoje parametry są aktualizowane około razy.
„Epoka” oznacza zwykle udostępnianie algorytmu uczenia się całemu zestawowi danych treningowych. Nie zawsze ma to sens, ponieważ czasami generujemy dane.
„Batch” i „Minibatch” mogą być mylące.
Przykłady treningów czasami muszą być „grupowane”, ponieważ nie wszystkie dane mogą koniecznie zostać narazone na algorytm naraz (zwykle z powodu ograniczeń pamięci).
W kontekście SGD „Minibatch” oznacza, że gradient jest obliczany dla całej partii przed aktualizacją wag. Jeśli nie używasz „minibatch”, każdy przykład szkolenia w „batch” aktualizuje parametry algorytmu uczenia niezależnie.