Czy „sprawiedliwe” jest ustawienie nasion w losowej regresji leśnej w celu uzyskania najwyższej dokładności?

Mam losową regresję lasu zbudowaną przy użyciu skl i zauważam, że uzyskuję różne wyniki w oparciu o ustawienie losowych nasion na różne wartości.

Jeśli użyję LOOCV do ustalenia, które nasiona najlepiej działają, czy jest to poprawna metoda?

cross-validation random-forest użytkownik2723494
źródło

Ludzie robią to podczas zawodów. Choć dla środowiska akademickiego byłoby to trudne do uzasadnienia.

Firebug,

Pomyśl o ekstremalnym scenariuszu: gramy w grę: rzucamy dwiema kośćmi i wygrywa ten z nas, który dostanie wyższą sumę. Ale tak naprawdę wolno mi rzucić kostką dwa razy. Czy to w porządku? Zaznaczę, że ustawianie losowych nasion jest integralną częścią powtarzalnych badań i powinno być zawsze wykonywane. Nie oznacza to jednak, że powinniśmy wypróbować wiele różnych nasion, aż znajdziemy „korzystne nasiona”.

usεr11852

@ usεr11852 co sądzisz o moim komentarzu do obecnie akceptowanej odpowiedzi? Nie jestem pewien, czy jest to coś innego niż przypadkowe ponowne uruchomienie, jak w przypadku kmeans. Nikt nie uważa, że powinniśmy być zmuszeni do zaakceptowania pierwszego uruchomienia tego, co robimy, do tego stopnia, że losowe restarty są wbudowane w funkcję standardową w R. O ile może nie uważasz, że model uruchamia kmeans 100 razy zamiast modelu jest tylko jeden najlepszych klastrów

JLD

Nie - wydaje się, że to definicja nadmiernego dopasowania przypadkowej losowości.

Mark White,

@Chaconne: W pełni popieram twoją opinię na temat potrzeby prawidłowej weryfikacji. To powiedziawszy, myślę, że istnieje zasadnicza różnica w dwóch przypadkach użycia: w przypadku k-średnich (lub ogólnie optymalizacji stochastycznej) szukamy „optymalnego zestawu” parametrów, podczas gdy dla CV dbamy o „reprezentatywny zestaw „. Na początku staramy się pokazać „jak dobrzy możemy być”, a w późniejszym przypadku „jak dobrzy będziemy”.

usεr11852

Odpowiedzi:

Odpowiedź brzmi nie .

Twój model daje inny wynik dla każdego użytego materiału siewnego. Jest to wynik niedeterministycznego charakteru modelu. Wybierając konkretne ziarno, które maksymalizuje wydajność zestawu sprawdzania poprawności, oznacza, że wybrałeś „układ”, który najlepiej pasuje do tego zestawu. Nie gwarantuje to jednak, że model z tym materiałem siewnym będzie działał lepiej na osobnym zestawie testowym . Oznacza to po prostu, że model został dopasowany do zestawu sprawdzania poprawności .

Ten efekt powoduje, że wiele osób, które zajmują wysokie miejsca w zawodach (np. Kaggle) na publicznym zestawie testowym, wypadają daleko z ukrytego zestawu testowego. Podejście to nie jest w żaden sposób uważane za prawidłowe.

Djib2011
źródło

Tak, właśnie dlatego walidacja krzyżowa jest tak silną techniką, a także dlatego, że ludzie używają zarówno walidacji, jak i zestawu testowego (jednego, na którym opiera się wybór modelu, a drugiego, aby uzyskać obiektywną ocenę).

Djib2011

Nie jestem przekonana. W przypadku niekonwencjonalnej optymalizacji rutynowe jest wykonywanie losowych restartów, ponieważ różne nasiona mogą prowadzić do bardzo różnych oszacowań parametrów modelu i po prostu przy odrobinie szczęścia możesz uzyskać złą zbieżność. Np. W przypadku kmeanów jest to dobrze znane. Z przypadkowym lasem przypadkiem może twój model robi zbyt wiele podziałów podrzędnych. Nie wydaje mi się, aby stosowne było rozpoznanie, że różne przebiegi prowadzą do różnych oszacowań parametrów modelu, a niektóre z nich mogą faktycznie generalizować lepiej niż inne. Wszystko to oczywiście zależy od właściwej oceny wyników próby.

jld

@ user2723494 Dotyczy hiperparametrów w nadziei na zwiększenie wydajności bez kosztów generalizacji. Jednak ciągłe dostrajanie parametrów w zestawie sprawdzania poprawności dawałoby ten sam efekt, który opisałem (przeregulowanie w zestawie sprawdzania poprawności). Ponieważ losowe rozsiewanie jest z natury stochastyczne, jest o wiele bardziej prawdopodobne, że poprawi wydajność z powodu przeszacowania niż z powodu faktycznego stworzenia lepszego modelu.

Djib2011

@Chaconne Nie powiedziałem, że to niemożliwe. Jednak dzięki tej procedurze o wiele bardziej prawdopodobne jest wybranie ziarna, które jest lepsze niż ziarno, które faktycznie wytwarza lepszy model ...

Djib2011,

Szczerze mówiąc, nigdy nie uważałem rozsiewania algorytmów ML (i pozbawiania ich stochastycznej natury) za dobrą praktykę. OP stworzył nowe pytanie, zadając właśnie to pytanie . Chciałbym przeczytać twoją odpowiedź!

Djib2011