Jeśli chodzi o algorytmy wzmacniające, powiedziałbym, że ewoluowały całkiem dobrze. Na początku 1995 r. Wprowadzono AdaBoost, a po pewnym czasie była to Gradient Boosting Machine (GBM). Niedawno około 2015 r. Wprowadzono XGBoost, który jest dokładny, radzi sobie z nadmiernym dopasowaniem i stał się zwycięzcą wielu konkursów Kaggle. W 2017 roku Microsoft wprowadził LightGBM, który oferuje znacznie krótszy czas szkolenia w porównaniu do XGBoost. Ponadto CatBoost został wprowadzony przez Yandex do obsługi funkcji jakościowych.
Random Forest został wprowadzony na początku 2000 roku, ale czy jest jakiś godny następca? Myślę, że gdyby istniał lepszy algorytm workowania niż Losowy Las (który można łatwo zastosować w praktyce), zyskałby trochę uwagi w miejscach takich jak Kaggle. Ponadto, dlaczego wzmocnienie stało się bardziej popularną techniką zespołową, czy to dlatego, że można zbudować mniej drzew, aby uzyskać optymalną prognozę?
źródło
Odpowiedzi:
xgboost, catboost i lightgbm używają niektórych cech losowego lasu (losowe próbkowanie zmiennych / obserwacji), więc myślę, że są one następcą wzmocnienia i RF razem i biorą najlepsze rzeczy z obu. ;)
źródło