Używanie LASSO w losowym lesie

14

Chciałbym utworzyć losowy las przy użyciu następującego procesu:

  • Zbuduj drzewo na losowych próbkach danych i funkcji, używając przyrostu informacji do określania podziałów
  • Zakończ węzeł liścia, jeśli przekracza on z góry określoną głębokość LUB jakiekolwiek rozszczepienie spowodowałoby, że liczba liści byłaby mniejsza niż z góry określone minimum
  • Zamiast przypisywać etykietę klasy do każdego drzewa, przypisz proporcję klas w węźle liścia
  • Przestań budować drzewa po zbudowaniu z góry określonej liczby

Spowoduje to tradycyjny tradycyjny losowy proces leśny na dwa sposoby. Po pierwsze, wykorzystuje przycięte drzewa, które przypisują proporcje, a nie etykiety klas. Po drugie, kryterium zatrzymania jest z góry określona liczba drzew, a nie niektóre szacunki błędu braku w torbie.

Moje pytanie brzmi:

Czy w przypadku powyższego procesu, który generuje drzewa N, mogę dopasować model przy użyciu regresji logistycznej z wyborem LASSO? Czy ktoś ma doświadczenie w dopasowywaniu klasyfikatora „Losowy las” i obróbce końcowej do logistycznego systemu LASSO?

Struktura ISLE wspomina o użyciu LASSO jako kroku przetwarzania końcowego problemów regresji, ale nie problemów klasyfikacji. Co więcej, nie otrzymuję żadnych pomocnych wyników, kiedy googlujesz „Losowe lasso leśne”.

classification random-forest lasso ensemble Zelazny7
źródło
Lasso jest dobry w znajdowaniu / ważeniu przydatnych funkcji, gdy jest ich wiele różnych jakości. Poszczególne drzewa w twoim lesie prawdopodobnie nie będą znacznie lepsze ani gorsze niż inne drzewa, więc nie sądzę, że Lasso bardzo ci pomoże.
rrenaud
Próbkując niewielki ułamek bez wymiany i ograniczając głębokość drzewa, wprowadzono większą różnorodność, więc myślę, że pewna forma regularyzacji jest uzasadniona.
Zelazny7
Czy możesz sprecyzować, w jaki sposób planujesz dopasować model logistyczny? Czym dokładnie są zmienne predykcyjne? Ponadto - jaka jest Twoja motywacja do przetwarzania końcowego? Jeśli próbujesz dokonać wyboru zmiennych, musisz rozważyć inne metody.
Alex Williams
Poprzez generowanie prognoz każdego drzewa tworzony jest nowy zestaw danych predyktorów. Ten zestaw danych można wykorzystać w regresji LASSO, aby uzyskać rzadką kombinację prognoz drzewa. Motywacją są modele bardziej zwięzłe i szybsze w produkcji.
Zelazny7
Ostatnio spotkałem podobne problemy i w oryginalnym artykule Friedmana odkryłem , że zaprojektował on funkcję straty specjalnie dla problemów z klasyfikacją binarną. Mam nadzieję, że byłoby to pomocne. Poza tym, czy masz pomysł, jak rozszerzyć go na problemy z klasyfikacją wielu klas? Lub jakie jest twoje podejście do problemów z klasyfikacją wielu klas?
Quan

Odpowiedzi:

5

Brzmi to trochę jak wzmocnienie drzewa gradientowego. Ideą wzmocnienia jest znalezienie najlepszego liniowego połączenia klasy modeli. Jeśli dopasujemy drzewo do danych, staramy się znaleźć drzewo, które najlepiej wyjaśnia zmienną wynikową. Jeśli zamiast tego użyjemy wzmocnienia, staramy się znaleźć najlepszą liniową kombinację drzew.

Jednak dzięki wzmocnieniu jesteśmy trochę bardziej wydajni, ponieważ nie mamy kolekcji losowych drzew, ale staramy się budować nowe drzewa, które działają na przykładach, których nie możemy jeszcze dobrze przewidzieć.

Aby uzyskać więcej informacji na ten temat, sugeruję przeczytanie rozdziału 10 elementów statystycznego uczenia się: http://statweb.stanford.edu/~tibs/ElemStatLearn/

Chociaż nie jest to pełna odpowiedź na twoje pytanie, mam nadzieję, że to pomoże.

Sven
źródło
3
Dzięki. Od czasu, gdy początkowo opublikowałem to pytanie, bardzo dobrze zapoznałem się z pakietem GBM R. Mój proces obejmuje teraz zbudowanie modelu GBM, na przykład 10 000 drzew, a następnie uruchomienie wszystkich 10 000 drzew przez GLMnet, aby przeprowadzić regresję LASSO na drzewach. Powoduje to skompresowany model GBM z niewielką lub żadną utratą wydajności (a czasem wzrostem).
Zelazny7
@ Zelazny7 Co powiesz na trudne dane testowe / testowe Czy dobrze to przewiduje?
josh
Tak, wszystkie moje testy odbywają się w zawieszeniu, które w żaden sposób nie informuje o rozwoju. Wydajność nie zmniejsza się w większości przypadków. Czasami jest trochę gorzej, czasem nawet się poprawia.
Zelazny7
1
@ Zelazny7 Zetknąłem się z tą samą procedurą (w mojej ostatniej pracy), z tymi samymi doświadczeniami.
Matthew Drury
Musisz być na czymś ... Sam Hastie sugeruje obróbkę drzew z przypadkowego lasu lub wzmocnienie za pomocą LASSO. Wspomniał, że jest w tym filmie o 30:10.
Jonathan