Podstawy głębokiego uczenia się

Szukam artykułu szczegółowo opisującego podstawy głębokiego uczenia się. Idealnie jak kurs Andrew Ng do głębokiego uczenia się. Czy wiesz, gdzie mogę to znaleźć?

Ten link zawiera niesamowitą ilość literatury do głębokiego uczenia się. Podsumowując tutaj (najlepiej w kolejności, w jakiej powinien zacząć początkujący) - UWAGA: Wszystkie te zasoby wykorzystują głównie python.

1) Przede wszystkim wymagana jest podstawowa wiedza na temat uczenia maszynowego. Uważam, że nauka uczenia się od danych Caltech jest idealna dla wszystkich kursów uczenia maszynowego dostępnych w sieci.

Kurs Coursera Andrew Ng też jest całkiem niezły.

2) W przypadku sieci neuronowych nikt nie wyjaśnia tego lepiej niż Dr.Patrick Winston . Zadania należy wypróbować dla lepszego zrozumienia. Są w pythonie.

3) Aby lepiej zrozumieć sieci neuronowe, należy wykonać kurs Michaela Nielsena (jak sugeruje Alexey). Jest to dość proste, ale działa.

4) W przypadku głębokich sieci neuronowych i szybszego ich wdrażania na procesorach graficznych dostępnych jest wiele struktur, takich jak Theano , Caffe , Pybrain , Torch itp. Z tych Theano zapewnia lepszą funkcjonalność niskiego poziomu, która pozwala użytkownikowi tworzyć niestandardowe nazwy NN. Jest to biblioteka python, więc możliwość korzystania z numpy, scikit-learn, matplotlib, scipy wraz z nią jest dużym plusem. Aby lepiej zrozumieć theano, należy wypróbować samouczek do głębokiego uczenia się napisany przez Lisę Lab.

5) W przypadku sieci neuronowych z konwergencją postępuj zgodnie z samouczkiem andreja karpathy .

6) W przypadku nauki bez nadzoru, postępuj tutaj i tutaj .

7) Na pograniczu głębokiego uczenia się i NLP, postępuj zgodnie z lekcją Richarda Sochera .

8) W przypadku LSTMs przeczytaj Hochreiter, S., i Schmidhuber, J. (1997). Długotrwała pamięć krótkotrwała. Obliczenia neuronowe, 9 (8), 1735-1780 i Graves, Alex. Nadzorowane znakowanie sekwencji za pomocą rekurencyjnych sieci neuronowych. Vol. 385. Springer, 2012 .

Oto kod Theano firmy LSTM .

Temat jest nowy, więc większość mądrości jest rozproszona w papierach, ale oto dwie najnowsze książki:

• Deep Learning , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Głębokie uczenie się: metody i aplikacje , Li Deng i Dong Yu.

I kilka praktycznych materiałów: http://deeplearning.net/tutorial/

• ACL 2012 + NAACL 2013 Samouczek: Dogłębne uczenie się dla NLP (bez magii)

Sieci neuronowe i głębokie uczenie się autorstwa Michaela Nielsena. Książka jest wciąż w toku, ale wygląda dość interesująco i obiecująco. I to za darmo! Oto link: http://neuralnetworksanddeeplearning.com/

Do tej pory jest tylko 5 rozdziałów, a większość z nich mówi o zwykłych sieciach neuronowych, ale nadal warto się przyjrzeć.

Aktualizacja: książka została ukończona!

Główne referencje:

Kursy głębokiego uczenia się:

• Kurs Andrew Ng na temat uczenia maszynowego zawiera ładny rozdział wprowadzający na temat sieci neuronowych.
• Kurs Geoffrey Hinton: Coursera Neural Networks for Machine Learning (jesień 2012)
• Darmowa książka Michaela Nielsena Neural Networks and Deep Learning
• Yoshua Bengio, Ian Goodfellow i Aaron Courville napisali książkę o głębokim uczeniu się
• Kurs Hugo Larochelle'a (filmy + slajdy) na Université de Sherbrooke
• Samouczek Stanforda (Andrew Ng i in.) Na temat nienadzorowanego uczenia się funkcji i głębokiego uczenia się
• Kurs Oxford 2014-2015
• Kurs głębokiego uczenia się NVIDIA (lato 2015)
• Kurs Google Deep Learning na temat Udacity (styczeń 2016 r.)

Zorientowany na NLP:

• Stanford CS224d: Deep Learning for Natural Language Processing (wiosna 2015) autorstwa Richarda Sochera
• Samouczek na NAACL HLT 2013: Głębokie uczenie się przetwarzania języka naturalnego (bez magii) (filmy + slajdy)

Zorientowany na wizję:

• CS231n Convolutional Neural Networks for Visual Recognition, autor: Andrej Karpathy (poprzednia wersja, krótsza i mniej dopracowana: przewodnik hakera po sieciach neuronowych ).

Samouczki dotyczące zestawu narzędzi:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Uczenie maszynowe z Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Kurs głębokiego uczenia się Nervana

Istnieje również ostatnia rozprawa doktorska Richarda Sochera na temat skrzyżowania NLP i głębokiego uczenia się: Rekurencyjne głębokie uczenie się w zakresie przetwarzania języka naturalnego i wizji komputerowej

Aby zrozumieć pochodzenie algorytmu propagacji wstecznej, sugeruję wideo YouTube'a Ryana Harrisa, które jest mniej zniechęcające. Możesz także znaleźć drugi film.