Jaka jest / jest „mechaniczna” różnica między wielokrotną regresją liniową z opóźnieniami i szeregami czasowymi?

Jestem absolwentem biznesu i ekonomii, który obecnie studiuje magister inżynierii danych. Podczas badania regresji liniowej (LR), a następnie analizy szeregów czasowych (TS), przyszło mi do głowy pytanie. Po co tworzyć zupełnie nową metodę, tj. Szeregi czasowe (ARIMA), zamiast stosować wielokrotną regresję liniową i dodawać do niej zmienne opóźnione (z kolejnością opóźnień określonych za pomocą ACF i PACF)? Nauczyciel zasugerował więc, żebym napisał krótki esej na ten temat. Nie szukałem pomocy z pustymi rękami, więc przeprowadziłem badania na ten temat.

Wiedziałem już, że przy stosowaniu LR, jeśli naruszone zostaną założenia Gaussa-Markowa, regresja OLS jest niepoprawna i że dzieje się tak przy użyciu danych szeregów czasowych (autokorelacja itp.). (inne pytanie na ten temat, jedno założenie GM jest takie, że zmienne niezależne powinny być normalnie rozmieszczone? lub tylko zmienna zależna zależna od zmiennych niezależnych?)

Wiem także, że kiedy używam rozproszonej regresji opóźnienia, co myślę, że proponuję tutaj, i używając OLS do oszacowania parametrów, może (oczywiście) powstać wielokoliniowość między zmiennymi, więc oszacowania byłyby błędne.

W podobnym poście o TS i LR tutaj @ IrishStat powiedział:

... model regresji jest szczególnym przypadkiem modelu funkcji przenoszenia, znanego również jako model regresji dynamicznej lub model XARMAX. Istotnym punktem jest identyfikacja modelu w szeregach czasowych, tj. Odpowiednie różnice, odpowiednie opóźnienia X, odpowiednia struktura ARIMA, odpowiednia identyfikacja nieokreślonej struktury deterministycznej, takiej jak impulsy, przesunięcia poziomu, lokalne trendy czasowe, impulsy sezonowe i włączenie zmian parametrów lub wariancji błędów należy wziąć pod uwagę.

(Przeczytałem także jego artykuł w Autoboxie o Box Jenkins vs. LR.) Ale to wciąż nie rozwiązuje mojego pytania (a przynajmniej nie wyjaśnia mi różnych mechanizmów RL i TS).

Oczywiste jest, że nawet w przypadku zmiennych opóźnionych pojawiają się problemy OLS i nie jest ono wydajne ani poprawne, ale czy przy maksymalnym prawdopodobieństwie problemy te występują? Czytałem, że ARIMA jest szacowana na podstawie maksymalnego prawdopodobieństwa, więc jeśli LR z opóźnieniami jest szacowana za pomocą ML zamiast OLS, to czy daje ona „prawidłowe” współczynniki (załóżmy, że uwzględniamy również terminy opóźnionego błędu, takie jak MA zamówienia q).

Krótko mówiąc, czy jest problem OLS? Czy problem został rozwiązany przy użyciu ML?

Po co tworzyć zupełnie nową metodę, tj. Szeregi czasowe (ARIMA), zamiast stosować wielokrotną regresję liniową i dodawać do niej zmienne opóźnione (z kolejnością opóźnień określonych za pomocą ACF i PACF)?

$\hat\beta_{OLS}=(X'X)^{-1}X'y$$X$, a zatem estymator OLS jest niewykonalny.

jednym założeniem GM jest to, że zmienne niezależne powinny być normalnie rozmieszczone? czy tylko zmienna zależna zależna od zmiennych niezależnych?

Założenie normalności jest czasami wywoływane w przypadku błędów modelu, a nie w przypadku zmiennych niezależnych. Jednak normalność nie jest wymagana ani dla spójności i wydajności estymatora OLS, ani dla twierdzenia Gaussa-Markowa. Artykuł w Wikipedii na temat twierdzenia Gaussa-Markowa wyraźnie stwierdza, że ​​„Błędy nie muszą być normalne”.

wielokoliniowość między zmiennymi może (oczywiście) powstać, więc oszacowania byłyby błędne.

Wysoki stopień wielokoliniowości oznacza zawyżoną wariancję estymatora OLS. Jednak estymator OLS jest nadal NIEBIESKI, o ile wielokoliniowość nie jest idealna. Dlatego twoje oświadczenie nie wygląda dobrze.

Oczywiste jest, że nawet w przypadku zmiennych opóźnionych pojawiają się problemy OLS i nie jest ono wydajne ani poprawne, ale czy przy maksymalnym prawdopodobieństwie problemy te występują?

Model AR można oszacować przy użyciu zarówno OLS, jak i ML; obie te metody dają spójne estymatory. Modele MA i ARMA nie mogą być oszacowane przez OLS, więc ML jest głównym wyborem; znowu jest spójny. Inną interesującą właściwością jest wydajność i tutaj nie jestem całkowicie pewien (ale wyraźnie informacja powinna być gdzieś dostępna, ponieważ pytanie jest dość standardowe). Chciałbym skomentować „poprawność”, ale nie jestem pewien, co przez to rozumiesz.

To świetne pytanie. Prawdziwa różnica między modelami ARIMA a wielokrotną regresją liniową polega na strukturze błędów. Możesz manipulować zmiennymi niezależnymi w modelu wielokrotnej regresji liniowej, aby pasowały do ​​danych szeregów czasowych, co mówi @IrishStat. Jednak po tym trzeba wprowadzić błędy ARIMA do modelu regresji wielokrotnej, aby uzyskać prawidłowy współczynnik i wyniki testu. Świetna darmowa książka na ten temat to: https://www.otexts.org/fpp/9/1 . Połączyłem sekcję omawiającą łączenie modeli ARIMA i wielu modeli regresji.

Dobre pytanie, właściwie zbudowałem oba w mojej codziennej pracy jako Data Scientist. Modele szeregów czasowych są łatwe do zbudowania (pakiet prognozy w R pozwala zbudować jeden w mniej w ciągu 5 sekund), taki sam lub dokładniejszy niż modele regresji itp. Zasadniczo zawsze należy budować szeregi czasowe, a następnie regresję. Istnieją również filozoficzne implikacje szeregów czasowych, jeśli możesz przewidzieć, nie wiedząc niczego, co to oznacza?

Moje spojrzenie na Darlington. 1) „Regresja jest znacznie bardziej elastyczna i wydajna, tworząc lepsze modele. Ten punkt jest rozwijany w wielu miejscach w trakcie pracy”.

Nie, wręcz przeciwnie. Modele regresji przyjmują znacznie więcej założeń niż modele szeregów czasowych. Im mniej założeń, tym większe prawdopodobieństwo odporności na trzęsienie ziemi (zmiana reżimu). Ponadto modele szeregów czasowych reagują szybciej na nagłe zmiany.

2) „Regresję można znacznie łatwiej opanować niż ARIMA, przynajmniej dla tych, którzy znają już regresję w innych obszarach”. To jest okrągłe rozumowanie.

3) „Regresja korzysta z„ zamkniętego ”algorytmu obliczeniowego, który zasadniczo gwarantuje uzyskanie wyników, o ile jest to w ogóle możliwe, podczas gdy ARIMA i wiele innych metod korzysta z algorytmów iteracyjnych, które często nie są w stanie znaleźć rozwiązania. Często widziałem, że metoda ARIMA„ rozłącza się ” „na danych, które nie dały problemu z metodą regresji”.

Regresja daje odpowiedź, ale czy to właściwa odpowiedź? Jeśli zbuduję modele regresji liniowej i uczenia maszynowego i wszystkie one dojdą do tego samego wniosku, co to oznacza?

Podsumowując, regresja tak i szeregi czasowe mogą zarówno odpowiedzieć na to samo pytanie, a technicznie szereg czasowy jest regresją techniczną (aczkolwiek regresją automatyczną). Modele szeregów czasowych są mniej złożone, a zatem bardziej niezawodne niż modele regresji. Jeśli myślisz o specjalizacji, modele TS specjalizują się w prognozowaniu, podczas gdy regresja - w zrozumieniu. Sprowadza się to do tego, czy chcesz wyjaśnić, czy przewidzieć.

Uważa się, że najgłębsza różnica między funkcjami przenoszenia a regresją liniową wieloraką (w zwykłym użyciu) leży w ich celach, regresje wielokrotne są ukierunkowane na znalezienie głównych obserwowalnych przyczynowych zmiennych zależnych, podczas gdy funkcje przenoszenia chcą jedynie prognozować wpływ na zależną zmienna odmiany konkretnej zmiennej egzogenicznej ... Podsumowując, regresja wielokrotna jest ukierunkowana na wyczerpujące wyjaśnienie, a funkcja przeniesienia na prognozowanie bardzo specyficznych efektów ...