Zdaję sobie sprawę, że w modelu drzew przypominających są 3 parametry dostrajania, tj
- liczba drzew (liczba iteracji)
- parametr skurczu
- liczba podziałów (wielkość każdego drzewa składowego)
Moje pytanie brzmi: jak dla każdego parametru dostrajania znaleźć optymalną wartość? I jaką metodę?
Zauważ, że: parametr skurczu i parametr liczby drzew działają razem, tj. Mniejsza wartość parametru skurczu prowadzi do wyższej wartości dla liczby drzew. I musimy to również wziąć pod uwagę.
Szczególnie interesuje mnie metoda znalezienia optymalnej wartości dla liczby podziałów. Czy powinien opierać się na walidacji krzyżowej lub wiedzy o domenie dotyczącej modelu?
A jak te rzeczy są przeprowadzane w gbm
pakiecie w R?
źródło
Istnieją dwa dobre źródła dla ulepszonych drzew regresji i pakietu GBM. Aby uzyskać wyjaśnienie BRT i optymalizację liczby drzew (
nt
), wskaźnika uczenia się (lr
) i złożoności drzew (tc
), zobacz Poradnik dotyczący zwiększonych drzew regresji Chociaż koncentruje się na ekologii Myślę, że nie znajdziesz lepszego wstępu do BRT .Aby zapoznać się z implementacją BRT w pakiecie gbm, zobacz Wzmocnione drzewa regresji dla modelowania ekologicznego
Krótko mówiąc, ogólną zasadą jest wybranie szybkości uczenia się, która pozwala modelowi BRT zmieścić co najmniej 1000 drzew, więc prawdopodobnie będziesz potrzebować niskiej szybkości uczenia się, może 0,001, aby to osiągnąć. Ale to zależy od wielkości twoich danych, patrz rys. 2 i 3 w Przewodniku roboczym do BRT. Myślę, że jednym z możliwych sposobów byłoby skonfigurowanie różnych modeli w BRT zgodnie z twoim rozmiarem danych, na przykład połączenie różnych lr (0,1, 0,01, 0,001), tc (1, 3, 5, 7, 9, 20) z inną torbą .frakcje (0,5, 0,7, 0,9) i wybierz najlepszy według najniższego odchylenia lub najwyższego wyniku ROC. Może to pomogło.
źródło
BRT_MODEL$self.statistics$correlation[[1]]
jest to korelacja testowania z danymi treningowymi, co jest dobrym miernikiem testowym.