Mam wykształcenie informatyczne, ale staram się uczyć danych, rozwiązując problemy w Internecie.

Pracowałem nad tym problemem przez ostatnie kilka tygodni (około 900 wierszy i 10 funkcji). Początkowo korzystałem z regresji logistycznej, ale teraz przerzuciłem się na losowe lasy. Kiedy uruchamiam mój przypadkowy model lasu na danych treningowych, otrzymuję naprawdę wysokie wartości dla auc (> 99%). Jednak gdy uruchamiam ten sam model na danych testowych, wyniki nie są tak dobre (dokładność około 77%). To prowadzi mnie do przekonania, że ​​przesadzam z danymi treningowymi.

Jakie są najlepsze praktyki dotyczące zapobiegania nadmiernemu dopasowaniu w losowych lasach?

Używam r i rstudio jako mojego środowiska programistycznego. Korzystam z randomForestpakietu i zaakceptowałem wartości domyślne dla wszystkich parametrów

Aby uniknąć nadmiernego dopasowania w losowym lesie, najważniejszą rzeczą, którą musisz zrobić, jest optymalizacja parametru strojenia, który określa liczbę funkcji losowo wybieranych do wyhodowania każdego drzewa na podstawie danych startowych. Zazwyczaj robi się to poprzez krotną walidację krzyżową, gdzie , i wybiera parametr strojenia, który minimalizuje błąd prognozowania próbki testowej. Ponadto, powiększenie większego lasu poprawi dokładność predykcyjną, chociaż zwykle dochodzi do malejących zysków, gdy zdobędziesz kilkaset drzew.k ∈ { 5 , 10 $k$$k \in \{5, 10\}$

Jak uzyskać 99% AUC na podstawie danych treningowych? Pamiętaj, że istnieje różnica między nimi

predict(model)

i

predict(model, newdata=train)

podczas uzyskiwania prognoz dla zestawu danych szkoleniowych. Pierwsza opcja dostaje out-of-torby przewidywań losowego lasu. Jest to generalnie to, czego chcesz, porównując przewidywane wartości z wartościami rzeczywistymi w danych treningowych.

Drugi traktuje twoje dane treningowe, jakby to był nowy zestaw danych, i prowadzi obserwacje w dół każdego drzewa. Spowoduje to sztucznie ścisłą korelację między prognozami a rzeczywistymi, ponieważ algorytm RF na ogół nie przycina poszczególnych drzew, zamiast tego polegając na zestawie drzew w celu kontrolowania nadmiernego dopasowania. Nie rób tego, jeśli chcesz uzyskać prognozy dotyczące danych treningowych.

W przypadku drzew decyzyjnych istnieją dwa sposoby radzenia sobie z nadmiernym dopasowaniem: (a) nie hoduj drzew do całości (b) śliwki

To samo dotyczy lasu drzew - nie uprawiaj ich zbyt wiele i przycinaj.

Nie używam randomForestdużo, ale według mojej wiedzy istnieje kilka parametrów, które można wykorzystać do dostrojenia lasów:

• nodesize - minimalny rozmiar węzłów końcowych
• maxnodes - maksymalna liczba węzłów końcowych
• mtry - liczba zmiennych użytych do zbudowania każdego drzewa (dzięki @ user777)

Możesz użyć metod walidacji krzyżowej, takich jak walidacja krzyżowa K fold.

możesz dostroić parametry za pomocą gridsearch

from sklearn.ensemble import RandomForestClassifier

from sklearn.grid_search import GridSearchCV

random_classifier = RandomForestClassifier()

parameters = { 'max_features':np.arange(5,10),'n_estimators':[500],'min_samples_leaf': [10,50,100,200,500]}

random_grid = GridSearchCV(random_classifier, parameters, cv = 5)

Spróbuj dostroić parametr max_depth w zakresach [5, 15], ale nie więcej niż to, ponieważ jeśli weźmiesz dużą głębokość, istnieje duża szansa na przeregulowanie.