W szczególności proszę o zasoby, aby dowiedzieć się o systemach uczenia maszynowego, które mogą aktualizować ich odpowiednie sieci przekonań (lub ich odpowiedniki) podczas pracy. Natknąłem się nawet na kilka, ale nie udało mi się ich dodać do zakładek.
Jak można sobie wyobrazić, wyszukiwanie w Internecie jest dość trudne.
Odpowiedzi:
Większość algorytmów uczenia się online pochodzi z co najmniej jednego z następujących rodowodów:
perceptron
Najnowocześniejsze perceptrony to algorytm pasywno-agresywny , perceptron strukturalny i ich wiele odmian.
Winnow
Okna zostały przeformułowane jako wykładnicze metody gradientu i można je również zastosować do problemów strukturalnych . Istnieją również odmiany, które bezpośrednio zajmują się regularyzacją L1 (w celu zagwarantowania rzadkości), takie jak SMIDAS .
Spadek gradientu stochastycznego
Stochastyczne obniżanie gradientu ma miejsce, gdy zastosujesz optymalizację online do potencjalnie problemu wsadowego. Stan algorytmów sztuki są Leona Bottou za LaSVM , Pegasos , a wiele sieci neuronowe algorytmy mogą być łatwo przeszkolony w tym ustawieniu. Zobacz samouczek theano dla wielu przykładów. Może online EM pasuje tutaj.
filtrowanie cząstek
Jest to również znane jako wnioskowanie Rao-blackwellized i pozwala na aktualizację modelu graficznego / probabilistycznego w miarę pojawiania się większej ilości danych. Dobrymi przykładami są modele tematów online i samouczek NIPS na temat SMC .
Istnieją również szersze problemy z uczeniem się online, takie jak konwersja online do partii , techniki budżetowe do nauki online z jądrem (takie jak ten dokument , ten artykuł i ten dokument ), wiele różnych smaków granic uogólnienia, wątpliwości dotyczące rzadkości (a także cytowany powyżej dokument SMIDAS), hashowanie w celu oszczędzania pamięci i wiele innych problemów.
źródło
Avrim Blum jako wspaniały artykuł ankietowy, który poleciłbym od: „Algorytmy online w uczeniu maszynowym” http://www.cs.cmu.edu/~avrim/Papers/survey.ps
źródło
Jeśli szukasz informacji na temat teorii uczenia się online, książka Cesa-Bianchi i Lugosi jest solidnym odniesieniem.
źródło
Jest ładny tutorial z ICML 2008 autorstwa Yorama Singera i Shai Shaleva Shwartza na temat teorii i praktyki uczenia się online.
źródło
Uczenie maszynowe - materiały szkoleniowe - Stanford http://www.stanford.edu/class/cs229/materials.html
Uczenie maszynowe i sztuczna inteligencja Wykłady wideo http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html
Procesy gaussowskie w uczeniu maszynowym http://www.gaussianprocess.org/gpml/
źródło