Jakie są wady średniego bezwzględnego błędu procentowego (MAPE)?

29

Mean Absolute Procent Błąd ( ) jest powszechną miarą dokładności lub błąd w przypadku szeregów czasowych lub innych przewidywań,

MAPE=100nt=1n|AtFt|At%,

gdzie to wartości rzeczywiste, a odpowiednie prognozy lub prognozy.F tAtFt

MAPE to wartość procentowa, dzięki czemu możemy łatwo porównać ją między seriami, a ludzie mogą łatwo zrozumieć i zinterpretować procenty.

Jednak słyszę, że MAPE ma wady. Chciałbym lepiej zrozumieć te wady, aby móc podjąć świadomą decyzję, czy użyć MAPE, czy innej alternatywy, takiej jak MSE ( ), MAE ( ) lub MASE ( ).

S. Kolassa - Przywróć Monikę
źródło

Odpowiedzi:

45

Wady MAPE

  • MAPE, jako wartość procentowa, ma sens tylko dla wartości, w których podziały i stosunki mają sens. Na przykład nie ma sensu obliczanie procentu temperatur, więc nie należy używać MAPE do obliczania dokładności prognozy temperatury.

  • Jeśli tylko jeden rzeczywisty jest równy zero, , to dzieląc przez zero, obliczasz MAPE, który jest niezdefiniowany.At=0

    Okazuje się, że niektóre programy prognozujące zgłaszają MAPE dla takich serii, po prostu usuwając okresy z zerowymi wartościami rzeczywistymi ( Hoover, 2006 ). Nie trzeba dodawać, że nie jest to dobry pomysł, ponieważ sugeruje, że w ogóle nie dbamy o to, co prognozowaliśmy, jeśli faktyczna wartość wynosi zero - ale prognoza i jedna z może mieć bardzo różne konsekwencje . Sprawdź więc, co robi twoje oprogramowanie.Ft=100Ft=1000

    Jeśli wystąpi tylko kilka zer, możesz użyć ważonego MAPE ( Kolassa i Schütz, 2007 ), który jednak ma swoje własne problemy. Dotyczy to również symetrycznego MAPE ( Goodwin i Lawton, 1999 ).

  • Mogą wystąpić MAPE większe niż 100%. Jeśli wolisz pracować z dokładnością, którą niektórzy określają jako 100% -MAPE, może to prowadzić do negatywnej dokładności, którą ludzie mogą mieć trudności ze zrozumieniem. ( Nie, obcinanie dokładności na zero nie jest dobrym pomysłem. )

  • Jeśli mamy ściśle pozytywne dane, które chcielibyśmy przewidzieć (i powyżej, MAPE nie ma sensu inaczej), to nigdy nie prognozujemy poniżej zera. MAPE niestety traktuje prognozy pogody inaczej niż prognozy pogody: prognozy nigdy nie przyczynią się do więcej niż 100% (np. Jeśli i ), ale wkład prognozy jest nieograniczony (np. Jeśli i ). Oznacza to, że MAPE może być niższy w przypadku stronniczych prognoz niż w przypadku obiektywnych prognoz. Zminimalizowanie go może prowadzić do nisko tendencyjnych prognoz.Ft=0At=1Ft=5At=1

Zwłaszcza ostatni punkt kuli zasługuje na nieco więcej przemyślenia. W tym celu musimy cofnąć się o krok.

Na początek zauważmy, że nie znamy doskonale przyszłego wyniku, ani nigdy. Zatem przyszły wynik zależy od rozkładu prawdopodobieństwa. Nasza tak zwana prognoza punktowa jest próbą podsumowania tego, co wiemy o przyszłym rozkładzie (tj. Rozkład predykcyjny ) w czasie przy użyciu pojedynczej liczby. MAPE jest zatem miarą jakości całej sekwencji takich pojedynczych podsumowań przyszłych rozkładów w czasach .Ft t t = 1 , , ntt=1,,n

Problem polega na tym, że ludzie rzadko mówią wprost, co to jest dobre podsumowanie składające się z jednej dystrybucji w przyszłości.

Gdy rozmawiasz z prognozowanymi konsumentami, zwykle będą chcieli, aby było poprawne „średnio”. Oznacza to, że chcą, aby było oczekiwaniem lub środkiem przyszłego rozkładu, a nie, powiedzmy, jego medianą.FtFt

Oto problem: minimalizacja MAPE zazwyczaj nie zachęca nas do przedstawienia tego oczekiwania, ale całkiem inne podsumowanie składające się z jednej liczby ( McKenzie, 2011 , Kolassa, 2020 ). Dzieje się tak z dwóch różnych powodów.

  • Asymetryczne przyszłe rozkłady. Załóżmy, że nasza prawdziwa przyszła dystrybucja przebiega stacjonarnie lognormalna dystrybucja. Poniższy obrazek pokazuje symulowany szereg czasowy, a także odpowiednią gęstość.(μ=1,σ2=1)

    lognormal

    Linie poziome przedstawiają optymalne prognozy punktowe, w których „optymalność” jest definiowana jako minimalizowanie oczekiwanego błędu dla różnych miar błędów.

    Widzimy, że asymetria przyszłego rozkładu, wraz z faktem, że MAPE w różny sposób penalizuje niedopowiedzenia i niedoszacowanie, implikuje, że minimalizacja MAPE doprowadzi do mocno tendencyjnych prognoz. ( Oto obliczenie optymalnych prognoz punktowych w przypadku gamma. )

  • Rozkład symetryczny o wysokim współczynniku zmienności. Załóżmy, że pochodzi z standardową sześciościenną kostką w każdym punkcie czasu . Poniższy obrazek ponownie pokazuje symulowaną ścieżkę próbki:Att

    rzuć kostką

    W tym przypadku:

    • Linia przerywana przy minimalizuje oczekiwany MSE. Jest to oczekiwanie na szeregi czasowe.Ft=3.5

    • Każda prognoza (nie pokazana na wykresie) zminimalizuje oczekiwany MAE. Wszystkie wartości w tym przedziale są medianami szeregów czasowych.3Ft4

    • Linia przerywana przy minimalizuje oczekiwane MAPE.Ft=2

    Ponownie widzimy, jak minimalizacja MAPE może prowadzić do stronniczej prognozy, z powodu różnicy kar, którą stosuje się do przeszacowania i niedomówień. W tym przypadku problem nie wynika z asymetrycznego rozkładu, ale z wysokiego współczynnika zmienności naszego procesu generowania danych.

    Jest to właściwie prosta ilustracja, której możesz nauczyć ludzi o niedociągnięciach MAPE - po prostu podaj uczestnikom kilka kości i każ im rzucić. Aby uzyskać więcej informacji, zobacz Kolassa i Martin (2011) .

Powiązane pytania krzyżowe

Kod R.

Lognormal example:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Przykład rzutu kostką:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Referencje

Gneiting, T. Tworzenie i ocena prognoz punktowych . Journal of the American Statistics Association , 2011, 106, 746-762

Goodwin, P. i Lawton, R. O asymetrii symetrycznego MAPE . International Journal of Forecasting , 1999, 15, 405–408

Hoover, J. Pomiar dokładności prognoz: pominięcia w dzisiejszych silnikach do prognozowania i oprogramowaniu do planowania popytu . Foresight: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Dlaczego „najlepsza” prognoza punktowa zależy od błędu lub miary dokładności (zaproszony komentarz na temat konkurencji w prognozowaniu M4). International Journal of Forecasting , 2020, 36 (1), 208-211

Kolassa, S. i Martin, R. Błędy procentowe mogą zrujnować Twój dzień (a Rolling the Dice pokazuje jak) . Foresight: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Zalety stosunku MAD / średnia w stosunku do MAPE . Foresight: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Średni bezwzględny błąd procentowy i błąd w prognozach ekonomicznych . Economics Letters , 2011, 113, 259-262

S. Kolassa - Przywróć Monikę
źródło
4
Doskonałe pytania i odpowiedzi. Dodałbym, że wszystkie te wskaźniki mają dwa podstawowe założenia - seria jest iid i stacjonarna. Jeżeli jedno lub oba te założenia nie zostaną spełnione, co zdarza się często w praktyce, ich ważność jest wątpliwa.
Mike Hunter,
Zgadzam się jednak z większością tego, czy nie byłoby uzasadnione zajmowanie się stosunkami temperatur, o ile są one w odpowiedniej skali (tj. Skali Kelvina)?
Przywróć Monikę
2
@Ben: w takim przypadku nie podzielimy przez zero. Jednak asymetria nadal stanowi niewielki problem. Jeśli twoja prognoza wynosi 293 tys., A rzeczywista 288 tys., APE wynosi 1,74%, a jeśli prognozowana 288 tys., Podczas gdy rzeczywista 293 tys., APE wynosi 1,71%, więc druga prognoza wygląda lepiej, chociaż obie są wyłączone o 5 tys. . (W razie potrzeby przetłumacz na C lub F.) Zasadniczo te same błędy bezwzględne są silniej karane za niższe wartości rzeczywiste. Ponadto interpretacja błędów procentowych temperatur nie jest łatwa.
S. Kolassa - Przywróć Monikę
1
@Ben Odsetki temperatury bezwzględnej są uzasadnione, ale różnice temperatur są łatwiejsze do zrozumienia - przynajmniej wtedy, gdy mamy do czynienia z temperaturami w codziennym zakresie; przy prognozowaniu temperatury jądra gwiazdy może być odwrotnie.
Pere