W jaki sposób losowy las generuje losowy las

20

Nie jestem ekspertem od losowego lasu, ale doskonale rozumiem, że kluczowym problemem z losowym lasem jest (losowe) generowanie drzew. Czy możesz mi wyjaśnić, w jaki sposób generowane są drzewa? (tj. Jaka jest używana dystrybucja do generowania drzew?)

Z góry dziękuję !

Robin Girard
źródło

Odpowiedzi:

16

Implementacje RF różnią się nieznacznie. Wiem, że zastrzeżona implementacja Salford Systems ma być lepsza niż waniliowa w R. Opis algorytmu znajduje się w ESL autorstwa Friedmana-Hastiego-Tibshirani, wyd. 2, 3. druk . Cały rozdział (15.) jest poświęcony RF, a ja uważam, że jest on wyraźniejszy niż oryginalny artykuł. Algorytm budowy drzewa jest szczegółowo opisany na str.588; nie ma potrzeby, żebym go tutaj reprodukował, ponieważ książka jest dostępna online.

niezadowolony
źródło
Wielkie dzięki za odpowiedź! Przeczytałem tę książkę od pierwszej do ostatniej strony, ale myślę, że była to edycja 1 ... Nie wiedziałam, że jest dostępna online.
robin girard
19

Główną ideą jest procedura workowania, a nie losowanie drzew. Szczegółowo, każde drzewo jest zbudowane na próbce obiektów narysowanych zamiennie z oryginalnego zestawu; dlatego każde drzewo ma pewne obiekty, których nie widział, co sprawia, że ​​cały zespół jest bardziej niejednorodny, a zatem lepszy w uogólnieniu.

Ponadto drzewa są osłabiane w taki sposób, że przy każdym podziale mtrybrane są pod uwagę tylko M (lub ) losowo wybrane atrybuty; M jest zwykle pierwiastkiem kwadratowym z liczby atrybutów w zestawie. Dzięki temu drzewa są mniej obciążone, ponieważ nie są przycinane. Więcej informacji znajdziesz tutaj .

Z drugiej strony istnieje wariant RF o nazwie Extreme Random Forest, w którym drzewa są tworzone w sposób losowy (nie ma optymalizacji podziałów) - skonsultuj, myślę, że to odniesienie .

Amelio Vazquez-Reina
źródło
Przepraszam, ale tak naprawdę nie rozumiem twojej odpowiedzi. Co rozumiesz przez „szczegółowo, każde drzewo jest zbudowane na próbce obiektów narysowanych z zamiennikiem z oryginalnego zestawu”. Czy możesz bardziej precyzyjnie określić, gdzie znajduję szczegóły „tutaj”?
robin girard
1
Tak działa workowanie; sprawdź en.wikipedia.org/wiki/Bootstrap_aggregating . Oto link (prawie niewidoczny w tym temacie, przyznaję) do szczegółowego odniesienia RF.