Dobra literatura na temat walidacji krzyżowej

10

Czy ktoś zna dobrą książkę / stronę internetową, aby zacząć uczyć się technik krzyżowej weryfikacji?

references cross-validation MarkDollar
źródło

Odpowiedzi:

5

Jeśli walidacja krzyżowa ma być stosowana do wyboru modelu / funkcji, warto pamiętać, że możliwe jest przeregulowanie statystyki walidacji krzyżowej i powstanie model słabo działający oraz zoptymalizowana statystyka walidacji krzyżowej może być bardzo optymistycznym oszacowaniem wydajności. Skutki tego mogą być zaskakująco duże. Zobacz Ambroise i McLachlan, aby zobaczyć przykład tego w ustawieniu wyboru funkcji, a Cawley i Talbot jako przykład w ustawieniu wyboru modelu.

Dikran Torbacz
źródło
Warto o tym wspomnieć, ale należy podwójnie powiedzieć, że są to przykłady niewłaściwego lub nadmiernego zaufania CV, a nie pewne wady samej metody.
1
w rzeczywistości jednak jest to sposób, w jaki jest on często niewłaściwie wykorzystywany - dlatego ważne jest, aby być świadomym, ucząc się o walidacji krzyżowej! Większa walidacja krzyżowa jest często dobrym rozwiązaniem, tj. Zagnieżdżona walidacja krzyżowa lub, jak to określa Stone, walidacja „podwójna krzyżówka”. Problem wpływa prawie na dowolne kryterium wyboru cechy lub modelu zoptymalizowane pod kątem uzyskania modelu; w tym sensie nie ma nic specjalnego w walidacji krzyżowej.
Dikran Marsupial