Regularyzacja i skalowanie funkcji w nauczaniu online?

Powiedzmy, że mam klasyfikator regresji logistycznej. Podczas normalnego uczenia wsadowego stosuję termin regulizujący, aby zapobiec nadmiernemu dopasowaniu i utrzymać moją wagę na niskim poziomie. Normalizowałbym również i skalował moje funkcje.

W ustawieniach do nauki online otrzymuję ciągły strumień danych. Z każdym przykładem wykonuję aktualizację spadku gradientu, a następnie ją odrzucam. Czy mam używać terminów skalowania i regulowania funkcji w nauczaniu online? Jeśli tak, jak mogę to zrobić? Na przykład nie mam zestawu danych treningowych do skalowania. Nie mam również ustawionego sprawdzania poprawności parametru regularyzacji. Jeśli nie, dlaczego nie?

Podczas nauki online stale otrzymuję strumień przykładów. Dla każdego nowego przykładu robię prognozy. Następnie w następnym kroku otrzymuję rzeczywisty cel i aktualizuję gradient zejścia.

Wabbit projektu open-source Wabbit zawiera implementację SGD online, która jest ulepszona przez obliczenia w locie (online) 3 dodatkowych czynników wpływających na aktualizacje wagi. Czynniki te można włączyć / wyłączyć za pomocą odpowiednich opcji wiersza poleceń (domyślnie wszystkie trzy są włączone, --sgdopcja wyłącza je wszystkie, tj .: wraca do „klasycznego” SGD).

3 opcje poprawy SGD to:

• --normalized aktualizacje dostosowane do skali każdej funkcji
• --adaptive używa gradientu adaptacyjnego (AdaGrad) (Duchi, Hazan, Singer)
• --invariant aktualizacje ze świadomością ważności (Karampatziakis, Langford)

Razem zapewniają, że proces uczenia się online dokonuje 3-drożnej automatycznej kompensacji / korekty dla:

• skalowanie według funkcji (duże i małe wartości)
• zanikanie szybkości uczenia się dla poszczególnych funkcji na podstawie ważności funkcji
• adaptacyjne dostosowanie szybkości uczenia się dla poszczególnych funkcji w odniesieniu do rozpowszechnienia / rzadkości cech w przykładach

Rezultatem jest to, że nie trzeba wstępnie normalizować ani skalować różnych funkcji, aby uczeń był mniej tendencyjny i bardziej skuteczny.

Dodatkowo wabpal wabbit implementuje również regulację online poprzez obcięte gradientowe zejście z opcjami regulowania:

• --l1 (Norma L1)
• --l2 (Norma L2)

Moje doświadczenia z tymi ulepszeniami wielu zestawów danych polegały na tym, że znacznie poprawiły one dokładność modelu i płynniejszą konwergencję, gdy każdy z nich został wprowadzony do kodu.

Oto kilka artykułów akademickich, aby uzyskać więcej szczegółów związanych z tymi ulepszeniami:

• Znaczenie online Ważna aktualizacja Aktualizacje Nikos Karampatziakis i John Langford + Prezentacje na temat tego artykułu
• Rzadkie uczenie się online za pomocą obciętego gradientu autorstwa Johna Langforda, Lihong Li i Tong Zhanga
• Adaptacyjne podgradientowe metody uczenia się online i optymalizacji stochastycznej John Duchi, Elad Hazan, Yoram Singer

W tym artykule opisano technikę regularyzacji online, którą stosują do różnych algorytmów, w tym regresji logistycznej: http://ai.stanford.edu/~chuongdo/papers/proximal.pdf

tak, z pewnością potrzebujesz regularyzacji ... pomaga to również zejściem gradientu (i zainicjalizować tempo uczenia się do 1 / C)

patrz np. artykuł SGD-QN http://leon.bottou.org/papers artykuły bottou

tak naprawdę nie wyjaśniłeś, co masz na myśli przez naukę online: np. za każdy punkt otrzymujesz wartość docelową? Nie wiem, jak byś to uwzględnił ... szukając C ... Myślę, że miałbyś wielu klasyfikatorów z różnymi warunkami regularyzacji i śledziłbyś błąd prognozy (przed aktualizacją wag)