Interesuje mnie wybór modelu w ustawieniach szeregów czasowych. Dla konkretności załóżmy, że chcę wybrać model ARMA z puli modeli ARMA o różnych rzędach opóźnień. Ostatecznym celem jest prognozowanie .
Wyboru modelu można dokonać za pomocą
- krzyżowa walidacja,
- stosowanie kryteriów informacyjnych (AIC, BIC),
wśród innych metod.
Rob J. Hyndman zapewnia sposób krzyżowej weryfikacji szeregów czasowych . W przypadku stosunkowo małych próbek wielkość próbki zastosowana w walidacji krzyżowej może być jakościowo różna od pierwotnej wielkości próbki. Na przykład, jeśli pierwotna wielkość próby wynosi 200 obserwacji, wówczas można pomyśleć o rozpoczęciu walidacji krzyżowej, biorąc pierwsze 101 obserwacji i rozszerzając okno do 102, 103, ..., 200 obserwacji, aby uzyskać 100 wyników walidacji krzyżowej. Oczywiście model, który jest dość oszczędny dla 200 obserwacji, może być zbyt duży dla 100 obserwacji, a zatem jego błąd walidacji będzie duży. W ten sposób krzyżowa walidacja prawdopodobnie będzie systematycznie faworyzować zbyt oszczędne modele. Jest to niepożądany efekt ze względu na niedopasowanie wielkości próbek .
Alternatywą dla krzyżowej weryfikacji jest zastosowanie kryteriów informacyjnych do wyboru modelu. Ponieważ zależy mi na prognozowaniu, użyłbym AIC. Mimo że AIC jest asymptotycznie równoważne z minimalizacją jednostopniowego prognozowania MSE poza próbą dla modeli szeregów czasowych (zgodnie z tym postem Roba J. Hyndmana), wątpię, aby miało to znaczenie od czasu próby Rozmiary, na których mi zależy, nie są aż tak duże ...
Pytanie: czy powinienem wybrać AIC zamiast krzyżowej weryfikacji szeregów czasowych dla małych / średnich próbek?
Kilka powiązanych pytań można znaleźć tutaj , tutaj i tutaj .
źródło
Odpowiedzi:
Pomijając rozważania teoretyczne, Kryterium Informacyjne Akaike jest po prostu prawdopodobieństwem karane stopniami swobody. Następnie AIC uwzględnia niepewność danych ( -2LL ) i przyjmuje założenie, że więcej parametrów prowadzi do wyższego ryzyka nadmiernego dopasowania ( 2k ). Weryfikacja krzyżowa sprawdza tylko wydajność zestawu testowego modelu, bez dalszych założeń.
Jeśli zależy ci przede wszystkim na prognozowaniu i możesz założyć, że zestawy testowe byłyby dość podobne do danych w świecie rzeczywistym, powinieneś przejść na walidację krzyżową. Możliwym problemem jest to, że gdy twoje dane są małe, a następnie dzieląc je, kończysz się niewielkimi zestawami szkoleniowymi i testowymi. Mniej danych do treningu jest złych, a mniej danych do zestawu testów sprawia, że wyniki weryfikacji krzyżowej są bardziej niepewne (patrz Varoquaux, 2018 ). Jeśli twoja próbka testowa jest niewystarczająca, możesz zostać zmuszony do użycia AIC, ale pamiętaj o tym, co mierzy i jakie mogą być założenia.
Z drugiej strony, jak już wspomniano w komentarzach, AIC daje bezobjawowe gwarancje i nie jest tak w przypadku małych próbek. Małe próbki mogą również wprowadzać w błąd co do niepewności danych.
źródło
Hm - jeśli twoim ostatecznym celem jest przewidzieć, dlaczego w ogóle zamierzasz dokonać wyboru modelu? O ile mi wiadomo, zarówno w „tradycyjnej” literaturze statystycznej, jak i literaturze dotyczącej uczenia maszynowego, że uśrednianie modelu jest lepsze, jeśli chodzi o przewidywanie. Mówiąc prościej, uśrednianie modelu oznacza, że szacujesz wszystkie wiarygodne modele, pozwalasz wszystkim przewidzieć i uśrednić ich przewidywania ważone ich względnymi dowodami modelowymi.
Przydatnym odniesieniem na początek jest https://journals.sagepub.com/doi/10.1177/0049124104268644
Wyjaśniają to po prostu i odnoszą się do odpowiedniej literatury.
Mam nadzieję że to pomoże.
źródło
Moim pomysłem jest zrobienie obu i zobaczenie. Można użyć AIC bezpośrednio. Im mniejszy AIC, tym lepszy model. Ale nie można polegać na AIC i powiedzieć, że taki model jest najlepszy. Tak więc, jeśli masz pulę modeli ARIMA, weź każdy z nich i sprawdź prognozowanie dla istniejących wartości i zobacz, który model przewiduje najbliższe istniejące dane szeregów czasowych. Po drugie, sprawdź również AIC i biorąc pod uwagę oba, wybierz dobry wybór. Nie ma twardych i szybkich zasad. Po prostu wybierz model, który przewiduje najlepsze.
źródło