Czy walidacja krzyżowa wystarcza, aby zapobiec nadmiernemu dopasowaniu?

17

Jeśli mam dane i prowadzę klasyfikację (powiedzmy losowy las na tych danych) z walidacją krzyżową (powiedzmy 5-krotnie), czy mogę dojść do wniosku, że w mojej metodzie nie ma nadmiernego dopasowania?

cross-validation overfitting mamatv
źródło

Odpowiedzi:

20

Ani trochę. Jednak krzyżowa weryfikacja pomaga ocenić, na ile Twoja metoda jest zbyt duża.

Na przykład, jeśli twoje dane treningowe R-kwadrat regresji wynoszą 0,50, a cross-walidowany R-kwadrat wynosi 0,48, prawie nie masz przeregulowania i czujesz się dobrze. Z drugiej strony, jeśli crossvalidated R-kwadrat ma tutaj tylko 0,3, to znaczna część wydajności twojego modelu pochodzi z nadmiernego dopasowania, a nie z prawdziwych relacji. W takim przypadku możesz zaakceptować niższą wydajność lub wypróbować różne strategie modelowania z mniejszym przeregulowaniem.

Michael M.
źródło
8
Myślę, że ta odpowiedź jest poprawna w duchu, ale nie zgadzam się z charakterystyką nadmiernego dopasowania w drugim akapicie. Nie sądzę, że nadmierne dopasowanie występuje, gdy błąd pociągu - błąd testu> niektóre związane, zamiast tego scharakteryzuję nadmierne dopasowanie jako sytuację, w której zwiększenie złożoności modelu nieznacznie zwiększa błąd wstrzymania. Wymaganie porównywalności błędów w pociągu i testach często skutkuje bardzo słabymi modelami.
Matthew Drury,
7

Walidacja krzyżowa jest dobrą, ale nie idealną techniką minimalizującą nadmierne dopasowanie.

Weryfikacja krzyżowa nie przyniesie dobrych wyników w przypadku danych zewnętrznych, jeśli posiadane dane nie są reprezentatywne dla danych, które próbujesz przewidzieć!

Oto dwie konkretne sytuacje, w których walidacja krzyżowa ma wady:

  • Wykorzystujesz przeszłość do przewidywania przyszłości: często dużym założeniem jest założenie, że wcześniejsze obserwacje będą pochodzić z tej samej populacji o takim samym rozkładzie, co przyszłe obserwacje. Weryfikacja krzyżowa zestawu danych z przeszłości nie chroni przed tym.
  • Dane, które gromadzisz, zawierają błąd: dane, które obserwujesz, systematycznie różnią się od danych, których nie obserwowałeś. Na przykład wiemy o uprzedzeniach respondentów u tych, którzy zdecydowali się na ankietę.
TrynnaDoStat
źródło
3
Fakt, że zestaw danych nie jest słabą reprezentacją prawdziwej populacji, jest ogólnie uważany za osobny problem nadmiernego dopasowania. Oczywiście prawdą jest, że krzyżowa walidacja ich nie dotyczy.
Cliff AB