Czy zwiększenie hałasu w danych pomaga poprawić zdolność uczenia się sieci? Czy robi to jakąś różnicę, czy zależy to od rozwiązania problemu? Jak wpływa to na proces uogólnienia?
11
Czy zwiększenie hałasu w danych pomaga poprawić zdolność uczenia się sieci? Czy robi to jakąś różnicę, czy zależy to od rozwiązania problemu? Jak wpływa to na proces uogólnienia?
Hałas w danych, w rozsądnej ilości, może pomóc sieci uogólnić się lepiej. Czasami ma odwrotny skutek. Zależy to częściowo od rodzaju hałasu („prawdziwy” vs. sztuczny).
AI FAQ na SSN daje przegląd dobrego. Fragment:
Hałas w rzeczywistych danych nigdy nie jest dobrą rzeczą, ponieważ ogranicza dokładność uogólnienia, którą można osiągnąć bez względu na to, jak obszerny jest zestaw treningowy. Z drugiej strony, wstrzykiwanie sztucznego hałasu (fluktuacji) do danych wejściowych podczas treningu jest jednym z kilku sposobów poprawy uogólnienia dla płynnych funkcji, gdy masz mały zestaw treningowy.
W niektórych dziedzinach, takich jak widzenie komputerowe, często zwiększa się rozmiar zestawu treningowego, kopiując próbki i dodając dźwięki lub inne transformacje.
Zazwyczaj myślimy o modelach uczenia maszynowego jako o modelowaniu dwóch różnych części danych szkoleniowych - leżącej u podstaw generalizowalnej prawdy (sygnał) i losowości charakterystycznej dla tego zestawu danych (szum).
Dopasowanie obu tych części zwiększa dokładność zestawu treningowego, ale dopasowanie sygnału zwiększa również dokładność zestawu testowego (i wydajność w świecie rzeczywistym), a dopasowanie hałasu zmniejsza oba. Dlatego używamy takich rzeczy, jak regularyzacja i rezygnacja oraz podobne techniki, aby utrudnić dopasowanie szumu, a tym samym zwiększyć prawdopodobieństwo dopasowania sygnału.
Tylko zwiększenie poziomu hałasu w danych treningowych jest jednym z takich podejść, ale wydaje się mało prawdopodobne, aby było tak przydatne. Porównaj na przykład losowy jitter z przeciwdziałaniem doładowania; pierwszy powoli i pośrednio poprawi odporność, a drugi radykalnie i bezpośrednio ją poprawi.
PS: Podano już kilka bardzo dobrych odpowiedzi, dodam je tylko w nadziei, że ktoś uzna to za przydatne:
Wprowadzenie szumu do zbioru danych może rzeczywiście mieć pozytywny wpływ na model. W rzeczywistości można to postrzegać jako robienie tego samego, co normalnie robiłbyś z regulizatorami, takimi jak rezygnacja . Przykładem takiego postępowania jest Zur at.al , Cires¸at.al, gdzie autorzy z powodzeniem wprowadzili szum do zbioru danych, aby zredukować nadmierne dopasowanie.
Problem polega na tym, aby wiedzieć, ile hałasu jest za dużo. Jeśli dodasz zbyt dużo hałasu, może to spowodować, że twój zestaw danych będzie bezużyteczny, ponieważ wynikowy zestaw danych może już nie zawierać wystarczającego podobieństwa do oryginalnego zestawu danych, więc równie dobrze możesz trenować na zupełnie innym zestawie danych. W ten sposób można zaobserwować zbyt duży hałas, który mógłby powodować niedopasowanie, podobnie jak wyjątkowo wysokie wskaźniki wypadania.
Jak to się mówi; zmiana równowagi to przyprawa życia :).