Wybór modelu w nauczaniu offline a nauczanie online

Ostatnio próbuję dowiedzieć się więcej na temat uczenia się online (to absolutnie fascynujące!), A jednym z tematów, którego nie byłem w stanie dobrze zrozumieć, jest sposób myślenia o wyborze modelu w kontekście offline i online. Konkretnie, załóżmy, szkolimy klasyfikator w trybie offline, na podstawie pewnego ustalonego zbioru danych . Powiedzmy, że oceniamy jego charakterystykę wydajności na podstawie weryfikacji krzyżowej, i w ten sposób wybieramy najlepszy klasyfikator.$S$$D$

O tym właśnie myślałem: jak więc zabrać się do stosowania do ustawień online? Czy możemy założyć, że najlepsze znalezione offline będzie również działać dobrze jako klasyfikator online? Czy sensowne jest zebranie niektórych danych do trenowania , a następnie wzięcie tego samego klasyfikatora i „operacjonalizacja” go w trybie online z tymi samymi parametrami znalezionymi w , czy może inne podejście byłoby lepsze? Jakie są zastrzeżenia w tych przypadkach? Jakie są tutaj kluczowe wyniki? I tak dalej.S S S $S$$S$$S$$S$$D$

W każdym razie, teraz to jest, myślę, że szukam referencji lub zasobów, które pomogą mi (i mam nadzieję, że inni, którzy myśleli o tym rodzaju!) Przejście od myślenia wyłącznie w trybie offline, i rozwijać ramy mentalne, aby myśleć o kwestii wyboru modelu i tych pytań w bardziej spójny sposób w miarę czytania.

Oczywiście w kontekście przesyłania strumieniowego nie można podzielić danych na zestawy pociągów i zestawów testowych w celu przeprowadzenia weryfikacji krzyżowej. Używanie tylko metryk obliczonych na początkowym zestawie pociągów brzmi jeszcze gorzej, ponieważ zakładasz, że Twoje dane się zmieniają, a Twój model dostosuje się do zmian - dlatego właśnie korzystasz z trybu uczenia się online.

$k$$k+1$

Na koniec w jakiś sposób uśredniasz (zwykle średnią arytmetyczną, ale możesz również użyć czegoś takiego jak wygładzanie wykładnicze) miary błędu, aby uzyskać ogólną ocenę dokładności.

W scenariuszu online oznaczałoby to, że zaczynasz od punktu 1 i testujesz w punkcie 2, następnie ponownie trenujesz w punkcie 2, aby przetestować w punkcie 3 itd.

Zauważ, że taka metodologia weryfikacji krzyżowej pozwala uwzględnić zmienny charakter wydajności modeli. Oczywiście, ponieważ model dostosowuje się do danych, a dane mogą ulec zmianie, należy regularnie monitorować wskaźniki błędów: w przeciwnym razie nie różni się to znacznie od używania zestawu pociągów i zestawów testowych o stałej wielkości.