Kiedy model jest niedopasowany?

Logika często stwierdza, że ​​przez niedopasowanie modelu zwiększa się jego zdolność do generalizowania. To powiedziawszy, wyraźnie w pewnym momencie niedopasowanie modelu powoduje pogorszenie modeli bez względu na złożoność danych.

Skąd wiesz, kiedy Twój model osiągnął właściwą równowagę i nie jest niedopasowany do danych, które zamierza modelować?

Uwaga: Jest to kontynuacja mojego pytania „ Dlaczego nadmierne dopasowanie jest złe? ”

Model jest niedopasowany, gdy jest zbyt prosty w odniesieniu do danych, które próbuje modelować.

Jednym ze sposobów na wykrycie takiej sytuacji jest zastosowanie podejścia wariancji uprzedzeń , które można przedstawić w następujący sposób:

Twój model jest niedopasowany, gdy masz duże odchylenie.

Aby wiedzieć, czy masz zbyt duże odchylenie, czy zbyt dużą wariancję, widzisz to zjawisko w kategoriach błędów treningu i błędów testowych:

Wysoki błąd: ta krzywa uczenia się pokazuje wysoki błąd zarówno w zestawach szkoleniowych, jak i testowych, więc algorytm cierpi z powodu dużego błędu:

Duża wariancja: ta krzywa uczenia się pokazuje dużą lukę między błędami treningu i zestawu testów, więc algorytm cierpi z powodu dużej wariancji.

Jeśli algorytm wykazuje dużą wariancję:

• więcej danych prawdopodobnie pomoże
• w przeciwnym razie zmniejsz złożoność modelu

Jeśli algorytm cierpi z powodu dużego błędu:

• zwiększyć złożoność modelu

Radziłbym obejrzeć kurs Coursera „Uczenie maszynowe , sekcja„ 10: Porady dotyczące stosowania uczenia maszynowego ”, z którego wziąłem powyższe wykresy.

Aby odpowiedzieć na twoje pytanie, ważne jest, aby zrozumieć ramy odniesienia, których szukasz, jeśli szukasz tego, co filozoficznie próbujesz osiągnąć w dopasowaniu modelu, sprawdź odpowiedź Rubensa, który dobrze wyjaśnia ten kontekst.

Jednak w praktyce twoje pytanie jest prawie całkowicie zdefiniowane przez cele biznesowe.

Aby dać konkretny przykład, powiedzmy, że jesteś urzędnikiem ds. Pożyczek, udzieliłeś pożyczek w wysokości 3 000 USD, a gdy ludzie ci spłacają, zarabiasz 50 USD. pożyczka. Zachowajmy to prosto i powiedzmy, że wyniki są albo pełną płatnością, albo domyślną.

Z perspektywy biznesowej można podsumować wydajność modeli za pomocą macierzy awaryjnej:

Kiedy model przewiduje, że ktoś będzie domyślnie, czyż nie? Przy ustalaniu wad nadmiernego i niedopasowania uważam, że warto pomyśleć o tym jako problemie z optymalizacją, ponieważ w każdym przekroju przewidywanych wierszy rzeczywista wydajność modelu wiąże się z kosztem lub zyskiem:

W tym przykładzie przewidywanie niewykonania zobowiązania oznacza uniknięcie jakiegokolwiek ryzyka, a przewidywanie, że niewykonanie zobowiązania nie spowoduje niewykonania zobowiązania, spowoduje 50 USD na każdą pożyczkę. Kiedy się mylisz, sytuacja staje się trudna, jeśli nie wywiążesz się ze spłaty, tracisz całą kwotę pożyczki, a jeśli spodziewasz się, że klient rzeczywiście nie zechce, stracisz 50 USD utraconej okazji. Liczby tutaj nie są ważne, tylko podejście.

Dzięki tym ramom możemy teraz zacząć rozumieć trudności związane z nadmiernym i niedopasowaniem.

Nadmierne dopasowanie w tym przypadku oznaczałoby, że model działa znacznie lepiej na danych programistycznych / testowych niż na produkcji. Innymi słowy, twój model produkcji będzie znacznie gorszy od tego, co widziałeś w rozwoju, to fałszywe zaufanie prawdopodobnie spowoduje, że zaciągniesz znacznie bardziej ryzykowne pożyczki, niż zrobiłbyś to, i narazi cię na bardzo duże ryzyko utraty pieniędzy.

Z drugiej strony, dopasowanie w tym kontekście pozostawia model, który po prostu źle radzi sobie z dopasowaniem rzeczywistości. Chociaż wyniki tego mogą być niezwykle nieprzewidywalne (słowo przeciwne, które chcesz opisać swoje modele predykcyjne), zwykle zdarza się, że standardy są zaostrzone, aby to zrekompensować, co prowadzi do mniejszej liczby klientów prowadzących do utraty dobrych klientów.

Niedopasowanie cierpi z powodu przeciwnej trudności niż przy dopasowaniu, a niedopasowanie daje mniejszą pewność siebie. Podstępnie brak przewidywalności wciąż prowadzi do nieoczekiwanego ryzyka, które jest złą wiadomością.

Z mojego doświadczenia wynika, że ​​najlepszym sposobem na uniknięcie obu tych sytuacji jest walidacja modelu na danych, które są całkowicie poza zakresem danych treningowych, więc możesz mieć pewność, że masz reprezentatywną próbkę tego, co zobaczysz „na wolności” „.

Ponadto zawsze dobrą praktyką jest okresowe sprawdzanie poprawności modeli, aby określić, jak szybko model się degraduje i czy nadal osiąga założone cele.

Tylko niektóre rzeczy, twój model jest niedopasowany, gdy źle radzi sobie z przewidywaniem zarówno danych dotyczących rozwoju, jak i produkcji.

Modele są jedynie abstrakcjami tego, co widać w prawdziwym życiu. Zostały zaprojektowane w celu wyodrębnienia drobiazgów rzeczywistego układu podczas obserwacji, przy jednoczesnym zachowaniu wystarczających informacji do poparcia pożądanej analizy.

Jeśli model jest przeregulowany, uwzględnia zbyt wiele szczegółów na temat tego, co jest obserwowane, a niewielkie zmiany na takim obiekcie mogą spowodować utratę precyzji modelu. Z drugiej strony, jeśli model jest niedopasowany, ocenia tak mało atrybutów, że godne uwagi zmiany na obiekcie mogą zostać zignorowane.

Zauważ też, że underfit może być postrzegany jako overfit , w zależności od zestawu danych. Jeśli dane wejściowe można w 99% poprawnie sklasyfikować za pomocą jednego atrybutu, model można dopasować do danych, upraszczając abstrakcję do pojedynczej cechy. I w tym przypadku za bardzo uogólnisz 1% podstawy na klasę 99% - lub też określisz model tak bardzo, że będzie mógł zobaczyć tylko jedną klasę.

Rozsądnym stwierdzeniem, że model nie jest ani zbyt dobry, ani zbyt niski, jest przeprowadzanie weryfikacji krzyżowych. Podzielony zestaw danych na części k i powiedz, wybierz jedną z nich, aby przeprowadzić analizę, a pozostałe części k-1 wytrenuj swój model. Biorąc pod uwagę, że dane wejściowe nie są stronnicze, powinieneś mieć tyle różnych danych do trenowania i oceny, jak podczas korzystania z modelu w przetwarzaniu w prawdziwym życiu.

Po prostu, jednym z powszechnych podejść jest zwiększenie złożoności modelu, czyniąc go prostym, a najprawdopodobniej na początku niedopasowaniem, i zwiększanie złożoności modelu do momentu zaobserwowania wczesnych oznak przeregulowania za pomocą techniki ponownego próbkowania, takiej jak walidacja krzyżowa, bootstrap, itp.

Zwiększysz złożoność albo poprzez dodanie parametrów (liczby ukrytych neuronów dla sztucznych sieci neuronowych, liczby drzew w losowym lesie) lub przez złagodzenie terminu regularyzacji (często nazywanego lambda lub C dla maszyn wektorów pomocniczych) w swoim modelu.

CAPM (model wyceny aktywów kapitałowych) w finansach jest klasycznym przykładem modelu niedopasowanego. Został zbudowany na pięknej teorii, że „inwestorzy płacą tylko za ryzyko, którego nie mogą zdywersyfikować”, więc oczekiwane nadwyżki zwrotu są równe korelacji ze zwrotami rynkowymi.

Jako wzór [0] Ra = Rf + B (Rm - Rf), gdzie Ra oznacza oczekiwany zwrot z aktywów, Rf jest stopą wolną od ryzyka, Rm jest rynkową stopą zwrotu, a Beta jest korelacją z premią kapitałową (Rm - Rf)

To jest piękne, eleganckie i złe. Wydaje się, że inwestorzy wymagają wyższego poziomu małych akcji i wartości (określonych na podstawie księgowania na rynku lub dywidendy).

Fama i Francuzi [1] przedstawili aktualizację modelu, która dodaje dodatkowe bety pod względem wielkości i wartości.

Więc skąd wiesz w ogólnym sensie? Gdy dokonywane prognozy są błędne, a inna zmienna z logicznym wyjaśnieniem zwiększa jakość prognozy. Łatwo jest zrozumieć, dlaczego ktoś może myśleć, że małe akcje są ryzykowne, niezależnie od ryzyka, które nie podlega dywersyfikacji. To dobra historia, poparta danymi.

[0] http://www.investopedia.com/terms/c/capm.asp [1] http://en.wikipedia.org/wiki/Fama%E2%80%93French_three-factor_model