Losowe lasy pracują, tworząc zestaw drzew decyzyjnych, w których każde drzewo jest tworzone przy użyciu próbki początkowej oryginalnych danych treningowych (próbka zmiennych wejściowych i obserwacji).
Czy podobny proces można zastosować do regresji liniowej? Utwórz k modeli regresji liniowej za pomocą losowej próbki bootstrap dla każdej z k regresji
Z jakich powodów NIE należy tworzyć modelu „regresji losowej”?
Dzięki. Jeśli jest coś, czego zasadniczo nie rozumiem, proszę dać mi znać.
a_0 + a_1 * x_1 + ... + a_d * x_d
, wynikowa uśredniona funkcja liniowa (po agregacji bootstrap) nadal ma taką samą liniową formę funkcjonalną jak ta, od której zaczynasz (tj. „Podstawowy uczeń”).Odpowiedzi:
Częściowo nie zgadzam się z obecnymi odpowiedziami, ponieważ metodologia losowego lasu jest zbudowana na wprowadzeniu wariancji (CARTy zbudowane na próbkach rozruchowych + metoda losowej podprzestrzeni), aby uczynić je niezależnymi. Gdy masz już ortogonalne drzewa, średnia ich prognoz (w wielu przypadkach) jest lepsza niż prognoza przeciętnego drzewa (z powodu nierówności Jensena). Chociaż CARTs mają zauważalne zalety, które podlegają temu zabiegowi, ta metodologia zdecydowanie ma zastosowanie do każdego modelu, a modele liniowe nie są wyjątkiem. Oto pakiet R, który jest dokładnie tym, czego szukasz. Prezentuje fajny samouczek, jak je dostroić i interpretować oraz bibliografię na ten temat: Losowe uogólnione modele liniowe .
źródło
Aby umieścić odpowiedź @ ziggystar w kategoriach żargonu uczenia maszynowego: ideą technik agregacji bootstrapu (np. Random Forests) jest dopasowanie wielu modeli o niskiej stronniczości i dużej zmienności do danych z pewnym elementem „losowości” lub „niestabilności”. W przypadku losowych lasów niestabilność jest dodawana przez ładowanie początkowe i przez wybranie losowego zestawu funkcji do podziału każdego węzła drzewa. Uśredniając te hałaśliwe, ale słabo ukształtowane drzewa, łagodzi dużą wariancję każdego pojedynczego drzewa.
Podczas gdy drzewa regresji / klasyfikacji są modelami „o niskim odchyleniu i dużej zmienności”, modele regresji liniowej są zwykle przeciwne - „o dużym odchyleniu i niskiej wariancji”. Tak więc problemem, z którym często spotykają się modele liniowe, jest zmniejszenie nastawienia, a nie zmniejszenie wariancji. Agregacja bootstrap po prostu nie jest do tego stworzona.
Dodatkowym problemem jest to, że ładowanie początkowe może nie zapewniać wystarczającej „losowości” lub „niestabilności” w typowym modelu liniowym. Spodziewałbym się, że drzewo regresji będzie bardziej wrażliwe na losowość próbek bootstrap, ponieważ każdy liść zazwyczaj zawiera tylko garść punktów danych. Ponadto drzewa regresji można hodować stochastycznie, dzieląc drzewo na losowy podzbiór zmiennych w każdym węźle. Zobacz poprzednie pytanie, dlaczego jest to ważne: Dlaczego losowe lasy są dzielone na podstawie losowych cech?
Biorąc to wszystko pod uwagę, z pewnością można użyć ładowania początkowego w modelach liniowych [LINK] , co może być bardzo pomocne w niektórych kontekstach. Motywacja różni się jednak znacznie od technik agregacji bootstrapu.
źródło
A oto dlaczego „losowe” wykonywanie modeli liniowych nie jest tak atrakcyjne, jak w przypadku drzew decyzyjnych:
Duże drzewo decyzyjne utworzone z dużej próbki najprawdopodobniej przewyższa dane, a metoda losowego lasu zwalcza ten efekt, polegając na głosowaniu wielu małych drzew.
Z drugiej strony regresja liniowa jest modelem, który nie jest zbyt podatny na nadmierne dopasowanie i dlatego nie szkodzi jej szkolenie na początku na całej próbce. I nawet jeśli masz wiele zmiennych regresora, możesz zastosować inne techniki, takie jak regularyzacja, aby zwalczyć nadmierne dopasowanie.
źródło
Zgadzam się z @ziggystar. Jako liczba próbek bootstrapk
źródło