Różnica między prognozami „w próbie” i „pseudo poza próbą”

Czy istnieje wyraźna różnica między prognozami w próbie a pseudo prognozami poza próbą . Oba mają na celu ocenę i porównanie modeli prognozowania.

Załóżmy, że masz dane $\{Y_t,X_{t-h}\}_{t=h+1}^T$ , gdzie $h \in \{1,2,\ldots\},$ a Twoim celem jest zbudowanie modelu (powiedzmy , $\hat f(X_{t-h})$ ), aby przewidzieć $Y_t$ biorąc pod uwagę $X_{t-h}$ . Dla konkretności załóżmy, że dane są codzienne, a $T$ odpowiada dzisiejszemu.

Analiza w próbie oznacza oszacowanie modelu przy użyciu wszystkich dostępnych danych do T włącznie $T$, a następnie porównanie dopasowanych wartości modelu z rzeczywistymi realizacjami. Jednak wiadomo, że ta procedura rysuje zbyt optymistyczny obraz zdolności prognozowania modelu, ponieważ popularne algorytmy dopasowania (np. Wykorzystujące błąd kwadratu lub kryteria prawdopodobieństwa) zwykle starają się uniknąć dużych błędów prognozowania, a zatem są podatne na nadmierne dopasowanie - pomyłkowy hałas dla sygnału w danych.

Prawdziwą analizą poza próbą byłoby oszacowanie modelu na podstawie danych do dnia dzisiejszego, zbudowanie prognozy wartości jutra , poczekanie do jutra, zapisanie błędu prognozy ponownie oszacuj model, stwórz nową prognozę i tak dalej. Na koniec tego ćwiczenia można by uzyskać próbkę błędów prognozy które byłyby naprawdę poza próbą i dałyby bardzo realistyczny obraz wydajność modelu. e $Y_{T+1}$ Y , T + 2 { e T + l } L L = $e_{T+1} \equiv Y_{T+1} - \hat f(X_{T+1-h}),$$Y_{T+2}$$\{e_{T+l}\}_{l=1}^L$

Ponieważ ta procedura jest bardzo czasochłonna, ludzie często uciekają się do analizy „pseudo” lub „symulowanej” poza próbą, co oznacza naśladowanie procedury opisanej w ostatnim akapicie, przy użyciu raczej historycznej daty , raczej niż dzisiejsza data , jako punkt początkowy. Wynikające z tego błędy prognozowania są następnie wykorzystywane do oszacowania zdolności prognozowania modelu poza próbą.T { e t } T t = T 0 + $T_0 < T$$T$$\{e_t\}_{t=T_0+1}^T$

Zauważ, że analiza pseudo poza próbą nie jest jedynym sposobem na oszacowanie wydajności modelu poza próbą. Alternatywy obejmują walidację krzyżową i kryteria informacyjne.

Bardzo dobre omówienie wszystkich tych zagadnień znajduje się w rozdziale 7

http://www.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf