Co to jest skurcz?

Słowo „skurcz” jest często rzucane w niektórych kręgach. Ale co to jest skurcz, wydaje się, że nie ma jasnej definicji. Jeśli mam szereg czasowy (lub jakąkolwiek kolekcję obserwacji jakiegoś procesu), jakie są różne sposoby pomiaru pewnego rodzaju skurczu empirycznego w szeregu? Jakie są rodzaje teoretycznego skurczu, o których mogę mówić? W jaki sposób skurcz może pomóc w prognozowaniu? Czy ludzie mogą zapewnić dobry wgląd lub referencje?

W 1961 roku James i Stein opublikowali artykuł zatytułowany „Szacowanie z kwadratową stratą” https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Chociaż nie pokrywa się konkretnie z pojęciem skurczu, omawiają estymatory minimaksymalne dla statystyk wielowymiarowych (w rzeczywistości nawet dla lokalizacji 3 parametrów), które mają mniejsze ryzyko (oczekiwana strata) niż zwykłe MLE (każdy składnik średnia próbki) dla normalnych danych . Bradley Efron nazywa to odkrycie „najbardziej uderzającym twierdzeniem powojennej statystyki matematycznej”. Ten artykuł był cytowany 3310 razy.

Copas w 1983 r. Pisze pierwszy artykuł Regresja, przewidywanie i skurcz, określając termin „skurcz”. Jest to zdefiniowane domyślnie w sposób abstrakcyjny:

Dopasowanie predyktora regresji do nowych danych jest prawie zawsze gorsze niż dopasowanie do danych pierwotnych. Przewidywanie tego skurczu prowadzi do predyktorów typu Steina, które przy pewnych założeniach dają jednakowo niższy średni błąd predykcji niż kwadrat najmniejszy.

I we wszystkich kolejnych badaniach wydaje się, że skurcz odnosi się do cech operacyjnych (i ich oszacowań) dla trafności prognozowania i oszacowania poza próbą w kontekście znalezienia dopuszczalnych i / lub minimaksymalnych estymatorów.

Chodzi o regularyzację. Załóżmy, że chcesz dopasować krzywą i korzystasz z funkcji utraty kwadratu (możesz wybrać inną). Przezfitchcesz odzyskać parametry rządzące procesem, który wygenerował tę krzywą. Teraz wyobraź sobie, że chciałbyś dopasować tę krzywą za pomocą 100. wielomianu (tylko na przykład). Prawdopodobnie przerwiesz lub uchwycisz każdy załamanie i hałas zakrętu. Ponadto możliwości przewidywania poza danym przedziałem danych treningowych będą prawdopodobnie bardzo słabe. Zatem do funkcji celu dodawany jest termin regularyzacji z pewną wagą pomnożoną przez współczynnik regularyzacji - l_1, l_2 lub niestandardowy. W przypadku l_2, który jest łatwiejszy do zrozumienia, spowoduje to, że duże wartości parametrów będą zmuszone do zmniejszenia skurczu aka. Możesz myśleć o regularyzacji lub kurczeniu się jako o prowadzeniu algorytmu do rozwiązania, które może być lepszym rozwiązaniem.