Jestem nowy w dziedzinie głębokiego uczenia się i dla mnie pierwszym krokiem było przeczytanie interesujących artykułów ze strony deeplearning.net. W artykułach o głębokim uczeniu się Hinton i inni mówią głównie o zastosowaniu go do problemów z obrazem. Czy ktoś może mi odpowiedzieć, czy można to zastosować do problemu przewidywania wartości szeregów czasowych (finansowych, ruchu internetowego, ...) i na jakie ważne rzeczy powinienem się skupić, jeśli to możliwe?
54
Odpowiedzi:
Trwają prace nad dostosowaniem metod głębokiego uczenia się do danych sekwencyjnych. Wiele z tych prac koncentrowało się na opracowaniu „modułów”, które można układać w stosy w sposób analogiczny do układania ograniczonych maszyn Boltzmanna (RBM) lub autokoderów w celu utworzenia głębokiej sieci neuronowej. Podkreślę kilka poniżej:
źródło
Tak, do prognozowania szeregów czasowych można zastosować głębokie uczenie się. W rzeczywistości robiono to już wiele razy, na przykład:
To nie jest tak naprawdę żaden „szczególny przypadek”, głębokie uczenie dotyczy głównie metody wstępnego przetwarzania (opartej na modelu generatywnym), więc musisz skupić się na dokładnie tych samych rzeczach, na których koncentrujesz się, gdy uczysz się głębokiego uczenia się w „tradycyjnym sensie” na jednym ręka i te same rzeczy, na których się koncentrujesz podczas wykonywania prognoz szeregów czasowych bez głębokiego uczenia się.
źródło
Nawracające sieci neuronowe są uważane za rodzaj głębokiego uczenia się (DL). Myślę, że są najpopularniejszym narzędziem DL do (1d) uczenia sekwencyjnego. Są one obecnie podstawą metod neuronowego tłumaczenia (NMT) (pionierem 2014 w LISA (UdeM), Google i prawdopodobnie kilku innych, których nie pamiętam).
źródło
Generowanie sekwencji Alexa Gravesa za pomocą rekurencyjnych sieci neuronowych wykorzystuje sieci rekurencyjne i komórki pamięci krótkoterminowej do przewidywania tekstu i syntezy pisma ręcznego.
Andrej Karpathy napisał blog o generowaniu sekwencji poziomów od zera. Używa RNN w swoim samouczku.
Aby uzyskać więcej przykładów, powinieneś spojrzeć na Hochreiter, S. i Schmidhuber, J. (1997). Długotrwała pamięć krótkotrwała. Obliczenia neuronowe, 9 (8), 1735-1780.
źródło
Może to pomoże:
Jeśli masz definicję dokładnego okna czasowego dla danych, takich jak zdania w tym dokumencie lub akapitach, będziesz w stanie używać LSTM, ale nie jestem pewien, jak znaleźć okno czasowe, które nie są oczywiste i są bardziej świadome kontekstu. Przykładem tego może być liczba wyświetlanych danych dziennika, które są ze sobą powiązane i nie jest to oczywiste.
źródło