Ile opóźnień użyć w teście Ljung-Boxa szeregu czasowego?

Po dopasowaniu modelu ARMA do szeregów czasowych często sprawdza się resztki za pomocą testu Portmanteau Ljunga-Boxa (między innymi testami). Test Ljunga-Boxa zwraca wartość ap. Ma parametr h , który jest liczbą opóźnień do przetestowania. Niektóre teksty zalecają użycie h = 20; inni zalecają użycie h = ln (n); większość nie mówi, jakiego h użyć.

Zamiast używać pojedynczej wartości dla h , załóżmy, że wykonuję test Ljunga-Boxa dla wszystkich h <50, a następnie wybieram h, która daje minimalną wartość p. Czy to podejście jest rozsądne? Jakie są zalety i wady? (Jedną oczywistą wadą jest wydłużony czas obliczeń, ale nie stanowi to problemu.) Czy jest na to literatura?

Aby nieco rozwinąć ... Jeśli test daje p> 0,05 dla całego h , to oczywiście szeregi czasowe (reszty) przechodzą test. Moje pytanie dotyczy interpretacji testu, jeśli p <0,05 dla niektórych wartości h, a nie dla innych wartości.

Odpowiedź zdecydowanie zależy od: Do czego tak naprawdę próbujemy użyć testu ?$Q$

Powodem tego jest: być mniej lub bardziej pewnym co do wspólnej statystycznej istotności hipotezy zerowej braku autokorelacji aż do opóźnienia (alternatywnie zakładając, że masz coś zbliżonego do słabego białego szumu ) i zbudować model oszczędny , mając tak mało liczba parametrów, jak to możliwe.$h$

Zwykle dane szeregów czasowych mają naturalny wzorzec sezonowy, więc praktyczną zasadą byłoby ustawienie na dwukrotność tej wartości. Kolejnym jest horyzont prognozowania, jeśli użyjesz modelu do potrzeb prognozowania. Wreszcie, jeśli zauważysz znaczące odstępstwa w późniejszych opóźnieniach, spróbuj pomyśleć o korektach (może to być spowodowane niektórymi efektami sezonowymi lub dane nie zostały skorygowane o wartości odstające).$h$

Zamiast używać pojedynczej wartości dla h, załóżmy, że wykonuję test Ljunga-Boxa dla wszystkich h <50, a następnie wybieram h, która daje minimalną wartość p.

Jest to wspólny test istotności , więc jeśli wybór zależy od danych, to dlaczego miałbym się przejmować małymi (okazjonalnymi?) Odjazdami przy dowolnym opóźnieniu mniejszym niż , zakładając, że jest to znacznie mniej niż (moc testu, o którym wspomniałeś). Poszukując prostego, ale odpowiedniego modelu, sugeruję kryteria informacyjne opisane poniżej.h $h$$h$$n$

Moje pytanie dotyczy interpretacji testu, jeśli dla niektórych wartości a nie dla innych wartości.$p<0.05$$h$

Będzie to zależeć od tego, jak daleko to się dzieje. Wady dalekich odejść: więcej parametrów do oszacowania, mniej stopni swobody, gorsza moc predykcyjna modelu.

Spróbuj oszacować model, w tym części MA i \ lub AR w opóźnieniu, w którym następuje odejście ORAZ dodatkowo spójrz na jedno z kryteriów informacyjnych (AIC lub BIC w zależności od wielkości próbki), to da ci więcej informacji na temat tego, który model jest bardziej oszczędny. Mile widziane są również wszelkie ćwiczenia prognostyczne poza próbą.

Załóżmy, że określamy prosty model AR (1) ze wszystkimi zwykłymi właściwościami,

$$y_t = \beta y_{t-1} + u_t$$

Oznacz teoretyczną kowariancję terminu błędu jako

$$\gamma_j \equiv E(u_tu_{t-j})$$

Jeśli moglibyśmy zaobserwować termin błędzie, a następnie próbka autokorelacja składnika losowego jest zdefiniowany jako

$$\tilde \rho_j \equiv \frac {\tilde \gamma_j}{\tilde \gamma_0}$$

gdzie

$$\tilde\gamma_j \equiv \frac 1n \sum_{t=j+1}^nu_tu_{t-j},\;\;\; j=0,1,2...$$

Ale w praktyce nie przestrzegamy terminu błędu. Tak więc autokorelacja próbki związana z wartością błędu zostanie oszacowana przy użyciu reszt z oszacowania, jak

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n\hat u_t\hat u_{t-j},\;\;\; j=0,1,2...$$

Statystyka Q Box-Pierce (Ljung-Box Q jest tylko asymptotycznie neutralną skalowaną wersją):

$$Q_{BP} = n \sum_{j=1}^p\hat\rho^2_j = \sum_{j=1}^p[\sqrt n\hat\rho_j]^2\xrightarrow{d} \;???\;\chi^2(p)$$

Naszym problemem jest dokładnie to, czy można powiedzieć, że ma asymptotycznie rozkład chi-kwadrat (pod zerą braku autokorelacji w składniku błędu) w tym modelu. Aby tak się stało, każdy z $Q_{BP}$
musi być asymptotycznie normalny standardowy. Sposobem na sprawdzenie tego jest sprawdzenie, czy$\sqrt n \hat\rho_j$ ma taki sam rozkład asymptotycznej jako$\sqrt n \hat\rho$ (który jest konstruowany przy użyciu prawdziwych błędów, a więc ma pożądane zachowanie asymptotyczne pod wartością zerową).$\sqrt n \tilde\rho$

Mamy to

$$\hat u_t = y_t - \hat \beta y_{t-1} = u_t - (\hat \beta - \beta)y_{t-1}$$

gdzie β jest zgodny estymatora. Więc$\hat \beta$

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n[u_t - (\hat \beta - \beta)y_{t-1}][u_{t-j} - (\hat \beta - \beta)y_{t-j-1}]$$

$$=\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n (\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] + \frac 1n \sum_{t=j+1}^n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

Zakłada się, że próbka jest stacjonarna i ergodyczna, i zakłada się, że chwile istnieją aż do pożądanego porządku. Ponieważ estymator β jest spójne, to wystarczy na dwie sumy, aby przejść do zera. Podsumowujemy$\hat \beta$

$$\hat \gamma_j \xrightarrow{p} \tilde \gamma_j$$

To daje do zrozumienia ze

$$\hat \rho_j \xrightarrow{p} \tilde \rho_j \xrightarrow{p} \rho_j$$

Ale to nie gwarantuje automatycznie zbieżny do $\sqrt n \hat \rho_j$$\sqrt n\tilde \rho_j$(w rozkładzie) (pomyśl, że twierdzenie o ciągłym odwzorowaniu nie ma tutaj zastosowania, ponieważ transformacja zastosowana do zmiennych losowych zależy od). Aby tak się stało, potrzebujemy$n$

$$\sqrt n \hat \gamma_j \xrightarrow{d} \sqrt n \tilde \gamma_j$$

(mianownik tylda lub kapelusz - zbiegnie się w wariancji warunku błędu w obu przypadkach, więc jest neutralny dla naszego problemu).$\gamma_0$

Mamy

$$\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n \sqrt n(\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \\+ \frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

Pytanie brzmi: wykonaj te dwie sumy pomnożone teraz przez , zmień prawdopodobieństwo na zero, aby pozostało$\sqrt n$asymptotycznie?$\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j$

Do drugiej sumy mamy

$$\frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1} = \frac 1n \sum_{t=j+1}^n\big[\sqrt n(\hat \beta - \beta)][(\hat \beta - \beta)y_{t-1}y_{t-j-1}]$$

Ponieważ zbieżny do zmiennej losowej i β jest zgodna, to będzie zbliżać się do zera.$[\sqrt n(\hat \beta - \beta)]$$\hat \beta$

Za pierwszą sumę tutaj też mamy zbieżny do zmiennej losowej, i tak, że mamy $[\sqrt n(\hat \beta - \beta)]$

$$\frac 1n \sum_{t=j+1}^n \big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \xrightarrow{p} E[u_ty_{t-j-1}] + E[u_{t-j}y_{t-1}]$$

Pierwsza oczekiwana wartość, wynosi zero przy założeniach standardowego modelu AR (1). Ale druga oczekiwana wartość nie jest , ponieważ zmienna zależna zależy od błędów z przeszłości.$E[u_ty_{t-j-1}]$

Więc nie będzie miał taki sam rozkład asymptotycznej jako$\sqrt n\hat \rho_j$. Ale asymptotyczny rozkład tego ostatniego jest normalny Normalny, który prowadzi do rozkładu chi-kwadrat podczas kwadratowania rv$\sqrt n\tilde \rho_j$

Dlatego dochodzimy do wniosku, że w czystym modelu szeregów czasowych nie można powiedzieć, że statystyka Box-Pierce Q i Ljung-Box Q ma asymptotyczny rozkład chi-kwadrat, więc test traci swoje asymptotyczne uzasadnienie.

Dzieje się tak, ponieważ zmienna po prawej stronie (tutaj opóźnienie zmiennej zależnej) według projektu nie jest ściśle egzogeniczna względem terminu błędu, i stwierdziliśmy, że taka ścisła egzogeniczność jest wymagana, aby statystyki Q BP / LB miały wartość postulowany rozkład asymptotyczny.

W tym przypadku zmienna po prawej stronie jest tylko „z góry określona”, a test Breuscha-Pagana jest wtedy ważny. (pełny zestaw warunków wymaganych do asymptotycznie ważnego testu, patrz Hayashi 2000, s. 146-149).

Przed wyzerowaniem „prawej” h (która wydaje się być bardziej opinią niż twardą zasadą), upewnij się, że „opóźnienie” jest poprawnie zdefiniowane.

http://www.stat.pitt.edu/stoffer/tsa2/Rissues.htm

Cytując poniższą sekcję Wydanie 4 w powyższym linku:

„.... Wartości p pokazane dla wykresu statystycznego Ljunga-Boxa są niepoprawne, ponieważ stopnie swobody użyte do obliczenia wartości p są opóźnieniem zamiast opóźnienia - (p + q). To znaczy, że stosowana jest procedura NIE bierze pod uwagę faktu, że reszty pochodzą z dopasowanego modelu. I TAK, co najmniej jeden programista z rdzeniem R wie o tym ... ”

Edytuj (01/23/2011): Oto artykuł Burnsa, który może pomóc:

http://lib.stat.cmu.edu/S/Spoetry/Working/ljungbox.pdf

Wątek „Testowanie autokorelacji: Ljung-Box kontra Breusch-Godfrey” pokazuje, że test Ljung-Box zasadniczo nie ma zastosowania w przypadku modelu autoregresyjnego. Pokazuje również, że zamiast tego należy zastosować test Breusch-Godfrey. Ogranicza to trafność twojego pytania i odpowiedzi (chociaż odpowiedzi mogą zawierać pewne ogólnie dobre punkty).

Escanciano i Lobato skonstruowali test Portmanteau z automatycznym wyborem opóźnienia opartym na danych w oparciu o test Pierce-Box i jego udoskonalenia (w tym test Ljung-Box).

Istotą ich podejścia jest połączenie kryteriów AIC i BIC --- wspólnych w identyfikacji i szacowaniu modeli ARMA --- w celu wybrania optymalnej liczby opóźnień, które należy zastosować. Na wstępie sugerują, że intuicyjnie `` test przeprowadzony przy użyciu kryterium BIC jest w stanie właściwie kontrolować błąd typu I i jest bardziej wydajny, gdy korelacja szeregowa występuje w pierwszym rzędzie ''. Zamiast tego testy oparte na AIC są silniejsze w porównaniu z szeregową korelacją wyższego rzędu. Ich procedura wybiera zatem wybór opóźnienia typu BIC w przypadku, gdy autokorelacje wydają się małe i występują tylko w niskim rzędzie, a sekcja opóźnienia typu AIC w przeciwnym razie.

Test jest zaimplementowany w Rpakiecie vrtest(patrz funkcja Auto.Q).

$\min(20,T-1)$$\ln T$$T$

Pierwszy ma pochodzić z autorytatywnej książki Boxa, Jenkinsa i Reinsela. Analiza szeregów czasowych: prognozowanie i kontrola. Wydanie trzecie Englewood Cliffs, NJ: Prentice Hall, 1994 .. Jednak oto wszystko, co mówią o opóźnieniach na s. 314:

Nie jest to żaden silny argument ani sugestia, ale ludzie powtarzają to z miejsca na miejsce.

Drugie ustawienie opóźnienia dotyczy Tsay, RS Analysis of Financial Time Series. 2nd Ed. Hoboken, NJ: John Wiley & Sons, Inc., 2005, oto, co napisał na s. 33:

Często stosuje się kilka wartości m. Badania symulacyjne sugerują, że wybór m ≈ ln (T) zapewnia lepszą wydajność mocy.

Jest to nieco silniejszy argument, ale nie ma opisu tego, jakie badania przeprowadzono. Więc nie wziąłbym tego za wartość nominalną. Ostrzega także o sezonowości:

Ta ogólna zasada wymaga modyfikacji w analizie sezonowych szeregów czasowych, dla których ważniejsza jest autokorelacja z opóźnieniami w wielokrotnościach sezonowości.

Podsumowując, jeśli wystarczy podłączyć opóźnienie do testu i przejść dalej, możesz użyć dowolnego z tych ustawień, i to jest w porządku, ponieważ robi to większość praktyków. Jesteśmy albo leniwi, albo, co bardziej prawdopodobne, nie mamy czasu na takie rzeczy. W przeciwnym razie będziesz musiał przeprowadzić własne badania dotyczące mocy i właściwości statystyki dla serii, z którymi masz do czynienia.

AKTUALIZACJA.

$x_t$

$$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$$

Jednak OP nie wskazał, że robi ARMAX, wręcz przeciwnie, wyraźnie wspomina ARMAX:

Po dopasowaniu modelu ARMA do szeregów czasowych często sprawdza się pozostałości za pomocą testu Portmanteau Ljunga-Boxa

Jednym z pierwszych artykułów wskazujących na potencjalny problem z testem LB był Dezhbaksh, Hashem (1990). „ Niewłaściwe stosowanie szeregowych testów korelacyjnych w dynamicznych modelach liniowych ”, Review of Economics and Statistics, 72, 126–132. Oto fragment artykułu:

Jak widać, nie sprzeciwia się on stosowaniu testu LB dla modeli wyłącznie szeregów czasowych, takich jak ARMA. Zobacz także dyskusję w podręczniku do standardowego narzędzia ekonometrycznego EViews:

Jeżeli szereg reprezentuje resztki z oszacowania ARIMA, należy dostosować odpowiednie stopnie swobody, aby reprezentowały liczbę autokorelacji pomniejszoną o liczbę uprzednio oszacowanych warunków AR i MA. Należy również zauważyć, że należy zachować ostrożność przy interpretacji wyników testu Ljunga-Boxa zastosowanego do pozostałości ze specyfikacji ARMAX (patrz Dezhbaksh, 1990, dla symulacji dowodów na wyniki skończonej próby testu w tym ustawieniu)

Tak, należy zachować ostrożność przy modelach ARMAX i teście LB, ale nie można jednoznacznie stwierdzić, że test LB jest zawsze nieprawidłowy dla wszystkich serii autoregresyjnych.

AKTUALIZACJA 2

Odpowiedź Alecosa Papadopoulosa pokazuje, dlaczego test Ljunga-Boxa wymaga ścisłego założenia egzogeniczności . Nie pokazuje tego w swoim poście, ale test Breusch-Gpdfrey (inny test alternatywny) wymaga jedynie słabej egzogeniczności , co oczywiście jest lepsze. To, co Greene, Econometrics, wydanie 7. mówi o różnicach między testami, str. 923:

$x_t$$\varepsilon_s$$x_t$

... h powinien być jak najmniejszy, aby zachować moc, jaką test LB może mieć w danych okolicznościach. Wraz ze wzrostem h moc spada. Test LB jest strasznie słabym testem; musisz mieć dużo próbek; n musi być ~> 100, aby miało znaczenie. Niestety nigdy nie widziałem lepszego testu. Ale może istnieje. Ktoś wie o jednym?

Paul3nt

Nie ma poprawnej odpowiedzi na to pytanie, która działałaby we wszystkich sytuacjach, z innych powodów, dla których stwierdzono, że będzie to zależeć od twoich danych.

$\mathrm{min}(\frac{n}{2}-2, 40)$

Oczywiście wszystkie wartości domyślne są błędne, aw niektórych sytuacjach będzie to z pewnością błędne. W wielu sytuacjach może to nie być złe miejsce na rozpoczęcie.

Pozwól, że zasugeruję ci nasz pakiet R na hwwntest . Zaimplementowano testy szumu białego oparte na Wavelet, które nie wymagają żadnych parametrów strojenia i mają dobrą wielkość statystyczną i moc.

Ponadto niedawno znalazłem „Myśli o teście Ljung-Boxa”, która jest doskonałą dyskusją na ten temat autorstwa Roba Hyndmana.

Aktualizacja: Biorąc pod uwagę alternatywną dyskusję w tym wątku dotyczącą ARMAX, kolejną zachętą do spojrzenia na hwwntest jest dostępność teoretycznej funkcji mocy dla jednego z testów przeciwko alternatywnej hipotezie modelu ARMA (p, q).