Zasób / książka najnowszych osiągnięć w statystycznej teorii uczenia się

10

Znam dobrze teorię VC-Dimension, ale teraz patrzę na ostatnie (ostatnie 10 lat) postępy w statystycznej teorii uczenia się: (lokalne) średnie Rademachera, Lemma klasy skończonej Massarta, Liczby obejmujące, Łańcuchy, Łańcuch Dudleya Twierdzenie, Pseudodimension, Fat Shattering Dimension, Numery pakowania, Skład Rademacher i ewentualnie inne wyniki / narzędzia, których nie jestem świadomy.

Czy istnieje strona internetowa, ankieta, zbiór artykułów lub, co najważniejsze, książka na te tematy?

Alternatywnie patrzę na przykłady, jak powiązać średnią Rademachera dla prostych klas, w taki sam sposób, w jaki ludzie używają prostokątów wyrównanych do osi, aby pokazać, jak związać wymiar VC.

Z góry dziękuję.

Matteo
źródło

Odpowiedzi:

7

Wierzę, że spodobałaby Ci się teoria klasyfikacji: przegląd najnowszych osiągnięćprzez Boucheron, Bousquet i Lugosi. W szczególności zaczyna się od zbudowania podstawowej teorii uogólnienia za pomocą złożoności Rademachera, wprowadza kilka użytecznych narzędzi (takich jak zasada skurczu, których dowód można wyśledzić w notatkach Shai i Shai przywołanych w odpowiedzi Ashwinkumara, ale (jak sądzę?) Pochodzi z księga prawdopodobieństwa autorstwa Ledoux & Talagrand, która nie jest darmowa) i stosuje ją do standardowych metod klasyfikacji (maszyny wektorów wspomagających i wspierających są omawiane, zarówno ze względu na ich popularność, jak i ponieważ są one szkolone przez ERM). Ten tekst pochodzi z 2005 r., Więc zawiera także niektóre z nieco nowych tematów, o których wspominałeś, na przykład Złożoność Rademachera lokalnego, a nawet łańcuch do łączenia. Wreszcie, podczas gdy rękopis jest dość krótki,

Niektóre z innych tematów, o których wspominasz, są wystarczająco stare, aby znaleźć się w „Probabilistycznej teorii rozpoznawania wzorców” Devroye'a, Györfiego i Lugosiego (w szczególności chodzi o więcej na temat pakowania niż jakikolwiek inny tekst, który znam). Chociaż brakuje w nim niektórych z nowszych tematów, o których wspomniałeś, jest to standardowa książka, którą każdy, kogo spotkałem w teorii uczenia się, nosił na półkach. Może spróbuj zlokalizować spis treści i indeks książki i przejrzyj ją.

Niektóre z innych tematów, o których wspomniałeś, których nie widziałem dokładnie potraktowanych w książce, ale pojawiły się one w wielu notatkach. Na przykład, jeśli przejdziesz na stronę Shama Kakade'a w UPenn , znajdziesz linki do dwóch kursów teorii uczenia się (jeden był na TTI-C z Ambuj Tewari) i zobaczysz, że linki do tematów pasują do niektórych omawianych przez ciebie tematów i nie pojawiły się w moich odpowiedziach ani gdzie indziej. Istnieje wiele dobrych kursów w różnych szkołach; Avrim Blum ma doskonałe, niezwykle czytelne notatki z kursu teorii uczenia się (jego analiza Winnow jest najkrótsza, najczystsza i najbardziej intuicyjna, jaką kiedykolwiek widziałem!).

Niektóre z nich są jednak może trochę za nowe i będziesz musiał przejść do materiału źródłowego. Ale jeśli naprawdę próbujesz po prostu złapać technikę, myślę, że ankieta i wykłady na kilku zajęciach teorii uczenia się będą ci bardzo służyć.

Poza tym brzmisz tak, jakbyś szukał zaawansowanych tekstów, ale chciałbym również podłączyć dwa teksty wprowadzające, które ludzie bardzo lubią. Jednym z nich jest „wprowadzenie do teorii uczenia obliczeniowego” autorstwa Kearnsa i (U.) Vazirani, który choć jest stary (na przykład, wzmocnienie jest prezentowane tylko za pomocą oryginalnej konstrukcji Roberta Schapire'a, a nacisk kładziony jest raczej na PAC niż na uczenie agnostyczne), jest dobrze się prezentuje i ma dobrą intuicję. Osobiście mam podstawy we wprowadzeniu do teorii uczenia statystycznego , przez tych samych autorów co powyższe badanie (ale występujące w kolejności Bousquet, Boucheron, Lugosi?); ma ładną ekspozycję i po raz pierwszy teoria uogólnienia naprawdę zaczęła mnie klikać.

matus
źródło
5

To był niedawno nauczany kurs. http://www.cs.huji.ac.il/~shais/Handouts.pdf . Nie przeczytałem go dokładnie, ale rozdział 7 zawiera materiał na temat złożoności Rademachera. Mam nadzieję, że to pomoże.

Ashwinkumar BV
źródło
Dziękuję @Ashwinkumar. Podoba mi się fakt, że niektóre z tych notatek pochodzą z obecnie pisanej książki.
Matteo,