Czy to niezwykłe, że MEAN przewyższa ARIMA?

Niedawno zastosowałem szereg metod prognozowania (MEAN, RWF, ETS, ARIMA i MLP) i stwierdziłem, że MEAN zadziwiająco dobrze. (MEAN: gdzie wszystkie przyszłe prognozy są przewidywane jako równe średniej arytmetycznej z obserwowanych wartości.) MEAN nawet przewyższył ARIMA w trzech zastosowanych przeze mnie seriach.

Chcę wiedzieć, czy jest to niezwykłe? Czy to oznacza, że ​​używane przeze mnie szeregi czasowe są dziwne? Czy to oznacza, że ​​źle skonfigurowałem coś?

Jestem praktykiem, zarówno producentem, jak i użytkownikiem prognozowania, a NIE przeszkolonym statystykiem. Poniżej dzielę się przemyśleniami na temat tego, dlaczego Twoja średnia prognoza okazała się lepsza niż ARIMA, odwołując się do artykułu badawczego, który opiera się na dowodach empirycznych. Jedną z książek, do których wielokrotnie wracam, jest książka o zasadach prognozowania autorstwa Armstronga i jej strona internetowa, którą poleciłbym jako doskonałą lekturę dla każdego prognosty, zapewnia świetny wgląd w wykorzystanie i główne zasady metod ekstrapolacji.

Aby odpowiedzieć na pierwsze pytanie - Chcę wiedzieć, czy jest to niezwykłe?

Istnieje rozdział zatytułowany Ekstrapolacja dla szeregów czasowych i danych przekrojowych, który również jest dostępny bezpłatnie na tej samej stronie internetowej . Oto cytat z rozdziału

„Na przykład w konkursie M2 w czasie rzeczywistym, w którym badano 29 serii miesięcznych, Box-Jenkins okazał się jedną z najmniej dokładnych metod, a jego ogólny błąd średni był o 17% większy niż w przypadku naiwnej prognozy”

Istnieje empiryczny dowód na to, dlaczego Twoje średnie prognozy były lepsze niż modele ARIMA.

Przeprowadzono również badania po badaniach w konkursach empirycznych i trzeci konkurs M3, który pokazuje, że podejście ARIMA Box - Jenkins nie zapewnia dokładnej prognozy i brakuje dowodów na to, że lepiej radzi sobie w ekstrapolacji trendów jednoczynnikowych.

Istnieje również inny artykuł i trwające badanie Greene'a i Armstronga zatytułowane „ Proste prognozowanie: unikaj łez przed snem ” na tej samej stronie internetowej. Autorzy artykułu podsumowują w następujący sposób:

Ogółem zidentyfikowaliśmy 29 artykułów zawierających 94 formalne porównania dokładności prognoz złożonych metod z metodami prostymi - choć nie we wszystkich przypadkach - wyjątkowo prostymi. Osiemdziesiąt trzy procent porównań wykazało, że prognozy z prostych metod były dokładniejsze lub podobnie dokładne jak w przypadku złożonych metod. Średnio błędy prognoz złożonych metod były o około 32 procent większe niż błędy prognoz prostych metod w 21 badaniach, które zapewniają porównania błędów

Aby odpowiedzieć na trzecie pytanie : czy to oznacza, że ​​coś źle skonfigurowałem? Nie, uważam ARIMA za metodę złożoną, a średnią prognozę za proste metody. Istnieje wiele dowodów na to, że proste metody, takie jak Prognoza średnia, przewyższają złożone metody, takie jak ARIMA.

Aby odpowiedzieć na drugie pytanie : Czy to oznacza, że ​​używane przeze mnie szeregi czasowe są dziwne?

Poniżej znajdują się eksperci w dziedzinie prognozowania w świecie rzeczywistym:

• Makridakis (pionierski konkurs empiryczny dotyczący prognoz o nazwie M, M2 i M3 oraz wytyczył metody oparte na dowodach w prognozowaniu)
• Armstrong (zapewnia cenne informacje w formie książek / artykułów na temat praktyki prognozowania)
• Gardner (Wygładzanie wykładnicze według Invented Damped Trend - kolejna prosta metoda, która działa zaskakująco dobrze w porównaniu z ARIMA)

Wszyscy powyżsi badacze opowiadają się za prostotą (metody takie jak średnia prognoza) w porównaniu ze złożonymi metodami, takimi jak ARIMA. Dlatego powinieneś czuć się komfortowo, gdy twoje prognozy są dobre i zawsze preferujesz prostotę zamiast złożoności opartej na dowodach empirycznych. Wszyscy ci badacze wnieśli ogromny wkład w dziedzinie prognozowania stosowanego.

Oprócz dobrej listy prostych metod prognozowania Stephana. istnieje także inna metoda zwana metodą prognozowania Theta, która jest bardzo prostą metodą (w zasadzie Proste wygładzanie wykładnicze z dryfem równym 1/2 nachylenia regresji liniowej) Dodałbym to do twojego zestawu narzędzi. Forecast package in Rimplementuje tę metodę.

To wcale nie jest zaskakujące . W prognozowaniu bardzo często zdarza się, że są to bardzo proste metody

• ogólna średnia
• naiwny losowy spacer (tj. ostatnia obserwacja wykorzystana jako prognoza)
• sezonowy losowy spacer (tj. obserwacja sprzed roku)
• Pojedyncze wygładzanie wykładnicze

przewyższają bardziej złożone metody. Dlatego zawsze powinieneś testować swoje metody pod kątem tych bardzo prostych testów porównawczych.

Cytat George'a Athanosopoulosa i Roba Hyndmana (którzy są ekspertami w tej dziedzinie):

Niektóre metody prognozowania są bardzo proste i zaskakująco skuteczne.

Zwróć uwagę, jak wyraźnie mówią, że będą używać bardzo prostych metod jako wzorców.

W rzeczywistości ich cały darmowy otwarty internetowy podręcznik do prognozowania jest bardzo zalecany.

EDYCJA: Jedna z lepiej akceptowanych miar błędu prognozy, średni bezwzględny błąd skali (MASE) Hyndmana i Koehlera (patrz również tutaj ) mierzy, o ile dana prognoza poprawia się na (na próbie) naiwnej losowej marszu: jeśli MASE <1, twoja prognoza jest lepsza niż losowy spacer w próbie. Spodziewałbyś się, że będzie to łatwe do pokonania, prawda?

Nie tak: czasami nawet najlepsza z wielu standardowych metod prognozowania, takich jak ARIMA lub ETS, da MASE tylko 1,38, tj. Będzie gorsza (poza próbą) niż prognoza losowa (w próbie). Jest to wystarczająco niepokojące, aby generować pytania tutaj. (To pytanie nie jest duplikatem tego pytania, ponieważ MASE porównuje dokładność poza próbą z dokładnością w próbie naiwnej metody, ale jest również pouczająca w przypadku obecnego pytania).