Czy to niezwykłe, że MEAN przewyższa ARIMA?

37

Niedawno zastosowałem szereg metod prognozowania (MEAN, RWF, ETS, ARIMA i MLP) i stwierdziłem, że MEAN zadziwiająco dobrze. (MEAN: gdzie wszystkie przyszłe prognozy są przewidywane jako równe średniej arytmetycznej z obserwowanych wartości.) MEAN nawet przewyższył ARIMA w trzech zastosowanych przeze mnie seriach.

Chcę wiedzieć, czy jest to niezwykłe? Czy to oznacza, że ​​używane przeze mnie szeregi czasowe są dziwne? Czy to oznacza, że ​​źle skonfigurowałem coś?

Andy T.
źródło
@Mehrdad można zdecydowanie stworzyć dobrą odpowiedź na Martingales.
shadowtalker
1
Proste metody osiągania dobrych wyników są dość powszechne, szczególnie poza próbą (co ma znaczenie). Efekt ten staje się silniejszy w krótkich seriach. Jeśli nie ma zbyt wielu korelacji lub trendów szeregowych, to spodziewalibyśmy się, że środek radzi sobie bardzo dobrze nawet przy stosunkowo długich seriach.
Glen_b

Odpowiedzi:

31

Jestem praktykiem, zarówno producentem, jak i użytkownikiem prognozowania, a NIE przeszkolonym statystykiem. Poniżej dzielę się przemyśleniami na temat tego, dlaczego Twoja średnia prognoza okazała się lepsza niż ARIMA, odwołując się do artykułu badawczego, który opiera się na dowodach empirycznych. Jedną z książek, do których wielokrotnie wracam, jest książka o zasadach prognozowania autorstwa Armstronga i jej strona internetowa, którą poleciłbym jako doskonałą lekturę dla każdego prognosty, zapewnia świetny wgląd w wykorzystanie i główne zasady metod ekstrapolacji.

Aby odpowiedzieć na pierwsze pytanie - Chcę wiedzieć, czy jest to niezwykłe?

Istnieje rozdział zatytułowany Ekstrapolacja dla szeregów czasowych i danych przekrojowych, który również jest dostępny bezpłatnie na tej samej stronie internetowej . Oto cytat z rozdziału

„Na przykład w konkursie M2 w czasie rzeczywistym, w którym badano 29 serii miesięcznych, Box-Jenkins okazał się jedną z najmniej dokładnych metod, a jego ogólny błąd średni był o 17% większy niż w przypadku naiwnej prognozy”

Istnieje empiryczny dowód na to, dlaczego Twoje średnie prognozy były lepsze niż modele ARIMA.

Przeprowadzono również badania po badaniach w konkursach empirycznych i trzeci konkurs M3, który pokazuje, że podejście ARIMA Box - Jenkins nie zapewnia dokładnej prognozy i brakuje dowodów na to, że lepiej radzi sobie w ekstrapolacji trendów jednoczynnikowych.

Istnieje również inny artykuł i trwające badanie Greene'a i Armstronga zatytułowane „ Proste prognozowanie: unikaj łez przed snem ” na tej samej stronie internetowej. Autorzy artykułu podsumowują w następujący sposób:

Ogółem zidentyfikowaliśmy 29 artykułów zawierających 94 formalne porównania dokładności prognoz złożonych metod z metodami prostymi - choć nie we wszystkich przypadkach - wyjątkowo prostymi. Osiemdziesiąt trzy procent porównań wykazało, że prognozy z prostych metod były dokładniejsze lub podobnie dokładne jak w przypadku złożonych metod. Średnio błędy prognoz złożonych metod były o około 32 procent większe niż błędy prognoz prostych metod w 21 badaniach, które zapewniają porównania błędów

Aby odpowiedzieć na trzecie pytanie : czy to oznacza, że ​​coś źle skonfigurowałem? Nie, uważam ARIMA za metodę złożoną, a średnią prognozę za proste metody. Istnieje wiele dowodów na to, że proste metody, takie jak Prognoza średnia, przewyższają złożone metody, takie jak ARIMA.

Aby odpowiedzieć na drugie pytanie : Czy to oznacza, że ​​używane przeze mnie szeregi czasowe są dziwne?

Poniżej znajdują się eksperci w dziedzinie prognozowania w świecie rzeczywistym:

  • Makridakis (pionierski konkurs empiryczny dotyczący prognoz o nazwie M, M2 i M3 oraz wytyczył metody oparte na dowodach w prognozowaniu)
  • Armstrong (zapewnia cenne informacje w formie książek / artykułów na temat praktyki prognozowania)
  • Gardner (Wygładzanie wykładnicze według Invented Damped Trend - kolejna prosta metoda, która działa zaskakująco dobrze w porównaniu z ARIMA)

Wszyscy powyżsi badacze opowiadają się za prostotą (metody takie jak średnia prognoza) w porównaniu ze złożonymi metodami, takimi jak ARIMA. Dlatego powinieneś czuć się komfortowo, gdy twoje prognozy są dobre i zawsze preferujesz prostotę zamiast złożoności opartej na dowodach empirycznych. Wszyscy ci badacze wnieśli ogromny wkład w dziedzinie prognozowania stosowanego.

Oprócz dobrej listy prostych metod prognozowania Stephana. istnieje także inna metoda zwana metodą prognozowania Theta, która jest bardzo prostą metodą (w zasadzie Proste wygładzanie wykładnicze z dryfem równym 1/2 nachylenia regresji liniowej) Dodałbym to do twojego zestawu narzędzi. Forecast package in Rimplementuje tę metodę.

wróżka
źródło
2
Naprawdę podoba mi się twoja perspektywa prognozowania i dowody, które przytaczasz, aby ją poprzeć, ale elementy tej odpowiedzi są budzące zastrzeżenia, ponieważ zbytnio czytają jak rant przeciwko „statystykom” lub być może przeciwko formalnemu szkoleniu statystycznemu - i są całkowicie błędne . Na przykład, zaawansowane stopni Makridakis' są w (zgadnij co?) Statystyki , to co naucza, i że to, co robi.
whuber
1
Rozumiem, usunę to. Starałem się stwierdzić, że znaczące postępy w zakresie metod opartych na dowodach pochodzą od osób niebędących statystykami. Ale rozumiem twój punkt widzenia, że może natknąć się tak
wróżka
Zrobione także, dr PhD Makridakis był w systemach informatycznych zarządzania zgodnie z opublikowanym wywiadem
prezenter
FWIW, jego strona LinkedIn --which on utrzymuje - wymienia oba jego doktorów w statystykach. Argument ten jest jednak bezcelowy: twierdzenie, że ktoś nie jest statystykiem, ponieważ jego stopień może nie być konkretny w statystykach, ma niewielką wartość i nie ma tu znaczenia. (Do niedawna większość osób, które zajmowały się statystyką, posiadała stopnie naukowe w innych dziedzinach, ponieważ dostępnych było niewiele programów statystycznych.)
whuber
2
+1. Jednak piszesz: „Istnieje empiryczny dowód na to, dlaczego twoje średnie prognozy były lepsze niż modele ARIMA”. - nie, to tylko nam mówi, że średnia była lepsza (w tym konkretnym przypadku), a nie dlaczego . Odwrócę argument i obciążę ARIMA i inne modele ciężarem dowodu. Nigdy nie rozumiałem do końca, dlaczego proces generowania danych powinien dbać o wcześniejsze błędy w moim modelu, co w istocie model MA. Osobiście podejrzewam, że ARIMA jest tak popularna, ponieważ można udowodnić różne rzeczy, takie jak pierwiastki i stacjonarność - a nie dlatego, że dobrze prognozuje.
S. Kolassa - Przywróć Monikę
36

To wcale nie jest zaskakujące . W prognozowaniu bardzo często zdarza się, że są to bardzo proste metody

  • ogólna średnia
  • naiwny losowy spacer (tj. ostatnia obserwacja wykorzystana jako prognoza)
  • sezonowy losowy spacer (tj. obserwacja sprzed roku)
  • Pojedyncze wygładzanie wykładnicze

przewyższają bardziej złożone metody. Dlatego zawsze powinieneś testować swoje metody pod kątem tych bardzo prostych testów porównawczych.

Cytat George'a Athanosopoulosa i Roba Hyndmana (którzy są ekspertami w tej dziedzinie):

Niektóre metody prognozowania są bardzo proste i zaskakująco skuteczne.

Zwróć uwagę, jak wyraźnie mówią, że będą używać bardzo prostych metod jako wzorców.

W rzeczywistości ich cały darmowy otwarty internetowy podręcznik do prognozowania jest bardzo zalecany.

EDYCJA: Jedna z lepiej akceptowanych miar błędu prognozy, średni bezwzględny błąd skali (MASE) Hyndmana i Koehlera (patrz również tutaj ) mierzy, o ile dana prognoza poprawia się na (na próbie) naiwnej losowej marszu: jeśli MASE <1, twoja prognoza jest lepsza niż losowy spacer w próbie. Spodziewałbyś się, że będzie to łatwe do pokonania, prawda?

Nie tak: czasami nawet najlepsza z wielu standardowych metod prognozowania, takich jak ARIMA lub ETS, da MASE tylko 1,38, tj. Będzie gorsza (poza próbą) niż prognoza losowa (w próbie). Jest to wystarczająco niepokojące, aby generować pytania tutaj. (To pytanie nie jest duplikatem tego pytania, ponieważ MASE porównuje dokładność poza próbą z dokładnością w próbie naiwnej metody, ale jest również pouczająca w przypadku obecnego pytania).

S. Kolassa - Przywróć Monikę
źródło
1
Dziękujemy za zaakceptowanie, ale może chcesz poczekać dzień - jeśli pytanie zaakceptowało odpowiedzi, mniej osób je przeczyta, nie mówiąc już o komentarzach lub odpowiedziach. I inni ludzie mogą mieć inne podejście do tego. Zapraszam do
odrzucenia
To bardzo szczere z was :) Dam mu dzień. Dzięki.
Andy T
9
„kompleks” jest bliskim krewnym „nadmiernie wyposażonego”.
shadowtalker
1
+1 fajna odpowiedź. Gdyby prognozowanie było dziedziną opartą na dowodach, taką jak medycyna, metoda ARIMA byłaby historią.
prezenter
2
prosta ARIMA bez potwierdzania założeń gaussowskich jest już historią dla większości z nas, ALE najwyraźniej nie dla wszystkich!
IrishStat