Losowy las vs Adaboost

10

W części 7 artykułu Random Forests (Breiman, 1999) autor stwierdza następującą hipotezę: „Adaboost to las losowy”.

Czy ktoś to udowodnił lub obalił? Co zrobiono, aby udowodnić lub obalić ten post po 1999 roku?

machine-learning random-forest boosting Alex
źródło
Proszę przeczytać stats.stackexchange.com/questions/77018/… Może tam znajdziesz swoją odpowiedź
@ user75008 Dzięki! Tak więc sekcja 7 przedstawia kolejną hipotezę, taką, że jeśli zostanie udowodniona, pokazuje, że adaboost jest równoważne losowemu lasowi. Czy ktoś wykazał, że ta hipoteza jest prawdziwa?
Alex
@ user75008 Czytam twój link, stats.stackexchange.com/questions/77018/… , czy uważasz, że sugeruje to, że Adaboost nie jest równoważny Random Forest?
Alex

Odpowiedzi:

3

Interesujące pytanie. Od tego czasu wykonano wiele pracy nad wyjaśnieniem wzmocnienia Ada za pomocą kilku różnych taktyk.

Szybko przeszukałem literaturę, a ten nieco dziwny artykuł wydaje się być najnowszy na ten temat, a także recenzuje kilka wstawionych prac Briemana i innych:

http://arxiv.org/pdf/1212.1108.pdf

Nie mam pojęcia, czy ich wyniki są prawidłowe, ale twierdzą, że nie udowodnili przypuszczenia Briemana, ale udowodnili, że jego osłabiona wersja twierdzi, że adaboost jest zachowaniem środków, ale niekoniecznie ergodycznym.

Przedstawiają także pewne empiryczne dowody, że adaboost w rzeczywistości czasem się nie pokrywają.

Myślę, że to sugeruje, że adaboost może być związany z losowym lasem, ale nie do końca (lub nie zawsze) równoważny w sposób, w jaki Brieman to przypuszczał?

Ryan Bressler
źródło
dzięki, więc myślę, że to wciąż otwarte pytanie, ale twoje ostatnie stwierdzenie mówi.
Alex
1
Tak, myślę, że wciąż jest otwarty. Myślę też, że zainteresowanie analizą AdaBoost spadło, ponieważ [stochastyczne] maszyny zwiększające gradient stały się bardziej popularne. AdaBoost jest formą opadania gradientu ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ), a myślenie w kategoriach wyraźnie losowego spadku może być bardziej intuicyjne i bardziej praktyczne niż proponowana równoważność Brieman. (Tj. Nawet gdyby to była prawda, może być naprawdę trudno pobrać próbki z potrzebnej dystrybucji w praktyce.)
Ryan Bressler
Właśnie widziałem ten nowy artykuł na ten temat: arxiv.org/pdf/1504.07676v1.pdf
Ryan Bressler
Bardzo interesujące, jeśli prawdziwe! „Dochodzimy do wniosku, że wzmocnienie należy stosować jak losowe lasy: przy dużych drzewach decyzyjnych i bez bezpośredniej regularyzacji lub wczesnego zatrzymania”.
Alex