W rzeczywistości sprowadza się do jednej z technik „3B”: workowania, wzmacniania lub miksowania.
W workowaniu trenujesz wielu klasyfikatorów na różnych podzbiorach obiektów i łączysz odpowiedzi według średniej dla regresji i głosowania na klasyfikację (istnieją inne opcje dla bardziej złożonych sytuacji, ale pominę ją). Proporcja / wariancja głosowania może być interpretowana jako przybliżenie błędu, ponieważ poszczególne klasyfikatory są zwykle uważane za niezależne. RF to tak naprawdę zespół do pakowania.
Wzmocnienie jest szerszą rodziną metod, jednak ich głównym punktem jest to, że budujesz następny klasyfikator na podstawie pozostałości tego pierwszego, w ten sposób (teoretycznie) stopniowo zwiększając dokładność poprzez podkreślanie coraz bardziej subtelnych interakcji. Prognozy są więc zwykle łączone przez zsumowanie ich, coś w rodzaju obliczenia wartości funkcji w x przez zsumowanie wartości elementów jej szeregu Taylora dla x.
Najpopularniejsze wersje to (Stochastic) Gradient Boosting (z ładnymi podstawami matematycznymi) i AdaBoost (dobrze znany, w rzeczywistości konkretny przypadek GB). Z holistycznego punktu widzenia drzewo decyzyjne stanowi wzmocnienie trywialnych klasyfikatorów przestawnych.
Mieszanie to pomysł na zagnieżdżanie klasyfikatorów, tj. Uruchamianie jednego klasyfikatora w systemie informatycznym opartym na prognozach innych klasyfikatorów. W związku z tym jest to bardzo zmienna metoda, a na pewno nie zdefiniowany algorytm; może wymagać wielu obiektów (w większości przypadków klasyfikator „blendera” musi zostać przeszkolony na zestawie obiektów, które nie zostały użyte do zbudowania częściowych klasyfikatorów, aby uniknąć kłopotliwego dopasowania).
Prognozy częściowych klasyfikatorów są oczywiście łączone poprzez połączenie ich w system informacyjny przewidziany przez mikser.