Zdaję sobie sprawę z rodzaju regularyzacji typu LASSO, grzbietu i siatki elastycznej w modelach regresji liniowej.
Pytanie:
- Czy ten (lub podobny) rodzaj oszacowania podlegającego sankcji można zastosować do modelowania ARIMA (z niepustą częścią MA)?
Przy budowaniu modeli ARIMA wydaje się, że zwykle bierze się pod uwagę wstępnie wybraną kolejność maksymalnego opóźnienia ( , ), a następnie wybrać optymalną kolejność i np. Poprzez zminimalizowanie AIC lub AICc. Ale czy zamiast tego można zastosować regularyzację?
Moje dalsze pytania to:
- Czy możemy zawrzeć wszystkie terminy do ( , q m a x ), ale ukarać wielkość współczynników (potencjalnie aż do zera)? Czy to miałoby sens?
- Jeśli tak, czy zostało to zaimplementowane w R lub innym oprogramowaniu? Jeśli nie, na czym polegał problem?
Nieco powiązany post można znaleźć tutaj .
time-series
arima
lasso
regularization
ridge-regression
Richard Hardy
źródło
źródło
Odpowiedzi:
Odpowiedź na pytanie 1.
Chen i Chan „Wybór podzestawu ARMA za pomocą adaptacyjnego Lasso” (2011) * wykorzystują obejście, aby uniknąć obliczeniowo wymaganego oszacowania maksymalnego prawdopodobieństwa. Powołując się na papier, oni
Opcjonalnie sugerują oszacowanie maksymalnego prawdopodobieństwa i diagnostykę modelu dla wybranych podzbiorów modeli ARMA.
Wilms i in. „Rzadka identyfikacja i oszacowanie wielowymiarowych wektorowych autoregresyjnych średnich ruchomych” (2017) robi jeszcze więcej, niż prosiłem. Zamiast jednowymiarowego modelu ARIMA, biorą wektor ARMA (VARMA) w wysokich wymiarach i używająL1 karę estymacji i tyle wybór zamówienia. Przedstawiają algorytm szacowania i opracowują pewne asymptotyczne wyniki.
W szczególności stosują dwuetapową procedurę. Rozważ model VARMA który należy oszacować, ale rzędy opóźnień p i q są nieznane.
W etapie 1 aproksymują model VARMA za pomocą modelu VAR wyższego rzędu i szacują go za pomocą estymatora hierarchicznego VAR, który nakłada opartą na opóźnieniu hierarchiczną karę grupowo-lasso na parametry autoregresyjne.⌊1.5T−−√⌋ ||y−y^||F2
ε^:=y−y^
(Kolejność opóźnień jest ustawiona na . Równania modelu są szacowane łącznie, a norma Frobeniusa błędów| | y - y | | F 2 zmniejszają hierarchicznej grupowego lasso kary na współczynniki regresji). Uzyskać one resztki ε :=y - y być stosowane jako zastępcze dla prawdziwych błędów w etapie 2.
W etapie 2, to oszacowanie modelu varX gdzie X oznacza opóźnione pozostałości z etapu 1. To znaczy, że model MINIC VARMA ale używa oszacowano reszty zamiast rzeczywistych błędów, co pozwala na zastosowanie tej samej estymatora (hierarchiczna grupy-lasso) znowu tak jak w etapie 1. ( p i q
Podejście Wilmsa i in. jest zaimplementowany w pakiecie R „bigtime” .
Bibliografia
* Dzięki @hejseb za link.
źródło