Intuicyjne wyjaśnienie algorytmu AdaBoost
Pozwól, że oprę się na doskonałej odpowiedzi @ Randel z ilustracją następującego punktu
- W Adaboost „niedociągnięcia” są identyfikowane przez punkty danych o wysokiej wadze
Podsumowanie AdaBoost
solm( X ), m = 1 , 2 , . . . , M
G ( x ) = znak ( α1sol1( x ) + α2)sol2)( x ) + . . . αM.solM.( x ) ) = znak ( ∑m = 1M.αmsolm( x ) )
AdaBoost na przykładzie zabawki
M.= 10
Wizualizacja sekwencji słabych uczniów i wag próbek
m = 1 , 2 ... , 6
Pierwsza iteracja:
- Granica decyzji jest bardzo prosta (liniowa), ponieważ są to osoby uczące się
- Wszystkie punkty są tego samego rozmiaru, zgodnie z oczekiwaniami
- 6 niebieskich punktów znajduje się w czerwonym regionie i są błędnie sklasyfikowane
Druga iteracja:
- Liniowa granica decyzji uległa zmianie
- Wcześniej źle sklasyfikowane niebieskie punkty są teraz większe (większa próbka-waga) i wpłynęły na granicę decyzji
- 9 niebieskich punktów jest teraz błędnie sklasyfikowanych
Ostateczny wynik po 10 iteracjach
αm wynoszą:
([1.041, 0.875, 0.837, 0.781, 1.04, 0.938 ...
Zgodnie z oczekiwaniami, pierwsza iteracja ma największy współczynnik, ponieważ jest to ta z najmniejszą liczbą błędnych klasyfikacji.
Następne kroki
Intuicyjne wyjaśnienie zwiększania gradientu - do uzupełnienia
Źródła i dalsze czytanie:
Xavier Bourret Sicotte
źródło