Podręcznik na temat * teorii * sieci neuronowych / algorytmów ML?

Każdy podręcznik, który do tej pory widziałem, opisuje algorytmy ML i sposoby ich implementacji.

Czy istnieje także podręcznik, który buduje twierdzenia i dowody na zachowanie tych algorytmów? np. stwierdzenie, że w warunkach , opadanie gradientu zawsze prowadzi do ?A , B , $x,y,z$$A,B,C$

Podstawy uczenia maszynowego autorstwa Mehryara Mohriego, Afshina Rostamizadeha i Ameeta Talwalkara, to książka z 2012 roku poświęcona teorii uczenia maszynowego.

Zrozumienie uczenia maszynowego: od teorii do algorytmów autorstwa Shai Shalev-Shwartz i Shai Ben-David jest podobną książką z 2014 roku, która jest dość dobrze znana i skierowana nieco bardziej wprowadzająco niż Mohri / Rostamizadeh / Talwalkar, ale wciąż ma wiele teorii w to. Jest darmowo dostępny online.

Uczenie się w sieci neuronowej: Teoretyczne podstawy , autorstwa Martina Anthony'ego i Petera Bartletta, to książka z 1999 roku na temat teorii ML sformułowana jako związana z sieciami neuronowymi, ale (jak sądzę, że jej nie przeczytałem) dotyczy głównie teorii ML.

Te trzy książki zajmują głównie dominujący punkt widzenia teorii uczenia statystycznego. Istnieje również interesujący punkt widzenia zwany obliczeniową teorią uczenia się, inspirowaną bardziej teorią informatyki. Myślę, że standardową książką wprowadzającą w tej dziedzinie jest An Introduction to Computational Learning Theory , książka z 1994 roku autorstwa Michaela Kearnsa i Umesh Vazirani.

Inną doskonałą i często polecaną darmową książką jest Trevor Hastie, Robert Tibshirani i drugie wydanie Jerome Friedmana z 2009 roku The Elements of Statistics Learning . Jest to może nieco mniej teoretyczne niż inne i bardziej z punktu widzenia statystyki niż uczący się maszyny, ale wciąż cieszy się dużym zainteresowaniem.

Ponadto, jeśli szczególnie zależy Ci na spadku gradientu, standardowym odniesieniem jest Optymalizacja wypukła autorstwa Stephena Boyda i Lieven Vandenberghe. Ta książka z 2004 roku jest dostępna bezpłatnie online.

Żadna z tych książek nie zawiera zbyt wielu informacji na temat współczesnej teorii sieci głębokich, jeśli na tym ci zależy. (Na przykład większość teorii optymalizacji dotyczy przypadków wypukłych, którymi zdecydowanie nie są sieci głębokie.) To dlatego, że ta teoria jest bardzo nowa; większość wyników pojawiła się dopiero w ciągu ostatnich kilku lat i wciąż wiele się zastanawia. Ale jako przegląd dotychczasowego zrozumienia tej dziedziny, każdy z nich dobrze cię przygotuje do zrozumienia dokumentów, w których ta praca jest wykonywana (z wyjątkiem być może Kearns / Vazirani, który koncentruje się na różnych aspektach analizy, które ja ” Nie jestem pewien, czy zostały z powodzeniem zastosowane w sieciach głębokich - jeszcze).

Uczenie maszynowe: perspektywa probabilistyczna Kevina P. Murphy'ego wyjaśnia wiele teorii z perspektywy bayesowskiej (użyłem jej tylko do regresji logistycznej, ale myślałem, że była całkiem dobra). Cała książka jest dostępna online w formacie PDF, wyszukując w Google.

• Deep Learning (Adaptive Computation and Machine Learning series) . Jest to napisane przez Iana Goodfellow, Yoshua Bengio, Aaron Courville . Zgodnie z umową autora z MIT Press, możesz przeczytać legalnie bezpłatną kopię dostępną w przeglądarce na tej stronie. www.deeplearningbook.org Jest to dobre dla czystej matematyki i teorii sieci neuronowej i jej różnych gałęzi.

W dodatku,

• Elementy uczenia statystycznego: eksploracja danych, wnioskowanie i przewidywanie to także dobra książka do budowania teoretycznych i matematycznych podstaw w tradycyjnym uczeniu maszynowym. Jest to napisane przez Trevora Hastiego, Roberta Tibshirani i Jerome Friedmana i dostępne bezpłatnie przez autorów na stronie https://web.stanford.edu/~hastie/ElemStatLearn/

Projektowanie sieci neuronowych (Martin T. Hagan, Howard B. Demuth, Mark Hudson Beale, Orlando De Jesús) ma przyjemną dyskusję na temat optymalizacji w kontekście sieci neuronowych.