Wady MAPE
MAPE, jako wartość procentowa, ma sens tylko dla wartości, w których podziały i stosunki mają sens. Na przykład nie ma sensu obliczanie procentu temperatur, więc nie należy używać MAPE do obliczania dokładności prognozy temperatury.
Jeśli tylko jeden rzeczywisty jest równy zero, , to dzieląc przez zero, obliczasz MAPE, który jest niezdefiniowany.At=0
Okazuje się, że niektóre programy prognozujące zgłaszają MAPE dla takich serii, po prostu usuwając okresy z zerowymi wartościami rzeczywistymi ( Hoover, 2006 ). Nie trzeba dodawać, że nie jest to dobry pomysł, ponieważ sugeruje, że w ogóle nie dbamy o to, co prognozowaliśmy, jeśli faktyczna wartość wynosi zero - ale prognoza i jedna z może mieć bardzo różne konsekwencje . Sprawdź więc, co robi twoje oprogramowanie.Ft=100Ft=1000
Jeśli wystąpi tylko kilka zer, możesz użyć ważonego MAPE ( Kolassa i Schütz, 2007 ), który jednak ma swoje własne problemy. Dotyczy to również symetrycznego MAPE ( Goodwin i Lawton, 1999 ).
Mogą wystąpić MAPE większe niż 100%. Jeśli wolisz pracować z dokładnością, którą niektórzy określają jako 100% -MAPE, może to prowadzić do negatywnej dokładności, którą ludzie mogą mieć trudności ze zrozumieniem. ( Nie, obcinanie dokładności na zero nie jest dobrym pomysłem. )
Jeśli mamy ściśle pozytywne dane, które chcielibyśmy przewidzieć (i powyżej, MAPE nie ma sensu inaczej), to nigdy nie prognozujemy poniżej zera. MAPE niestety traktuje prognozy pogody inaczej niż prognozy pogody: prognozy nigdy nie przyczynią się do więcej niż 100% (np. Jeśli i ), ale wkład prognozy jest nieograniczony (np. Jeśli i ). Oznacza to, że MAPE może być niższy w przypadku stronniczych prognoz niż w przypadku obiektywnych prognoz. Zminimalizowanie go może prowadzić do nisko tendencyjnych prognoz.Ft=0At=1Ft=5At=1
Zwłaszcza ostatni punkt kuli zasługuje na nieco więcej przemyślenia. W tym celu musimy cofnąć się o krok.
Na początek zauważmy, że nie znamy doskonale przyszłego wyniku, ani nigdy. Zatem przyszły wynik zależy od rozkładu prawdopodobieństwa. Nasza tak zwana prognoza punktowa jest próbą podsumowania tego, co wiemy o przyszłym rozkładzie (tj. Rozkład predykcyjny ) w czasie przy użyciu pojedynczej liczby. MAPE jest zatem miarą jakości całej sekwencji takich pojedynczych podsumowań przyszłych rozkładów w czasach .Ft t t = 1 , … , ntt=1,…,n
Problem polega na tym, że ludzie rzadko mówią wprost, co to jest dobre podsumowanie składające się z jednej dystrybucji w przyszłości.
Gdy rozmawiasz z prognozowanymi konsumentami, zwykle będą chcieli, aby było poprawne „średnio”. Oznacza to, że chcą, aby było oczekiwaniem lub środkiem przyszłego rozkładu, a nie, powiedzmy, jego medianą.FtFt
Oto problem: minimalizacja MAPE zazwyczaj nie zachęca nas do przedstawienia tego oczekiwania, ale całkiem inne podsumowanie składające się z jednej liczby ( McKenzie, 2011 , Kolassa, 2020 ). Dzieje się tak z dwóch różnych powodów.
Asymetryczne przyszłe rozkłady. Załóżmy, że nasza prawdziwa przyszła dystrybucja przebiega stacjonarnie lognormalna dystrybucja. Poniższy obrazek pokazuje symulowany szereg czasowy, a także odpowiednią gęstość.(μ=1,σ2=1)
Linie poziome przedstawiają optymalne prognozy punktowe, w których „optymalność” jest definiowana jako minimalizowanie oczekiwanego błędu dla różnych miar błędów.
Widzimy, że asymetria przyszłego rozkładu, wraz z faktem, że MAPE w różny sposób penalizuje niedopowiedzenia i niedoszacowanie, implikuje, że minimalizacja MAPE doprowadzi do mocno tendencyjnych prognoz. ( Oto obliczenie optymalnych prognoz punktowych w przypadku gamma. )
Rozkład symetryczny o wysokim współczynniku zmienności. Załóżmy, że pochodzi z standardową sześciościenną kostką w każdym punkcie czasu . Poniższy obrazek ponownie pokazuje symulowaną ścieżkę próbki:Att
W tym przypadku:
Linia przerywana przy minimalizuje oczekiwany MSE. Jest to oczekiwanie na szeregi czasowe.Ft=3.5
Każda prognoza (nie pokazana na wykresie) zminimalizuje oczekiwany MAE. Wszystkie wartości w tym przedziale są medianami szeregów czasowych.3≤Ft≤4
Linia przerywana przy minimalizuje oczekiwane MAPE.Ft=2
Ponownie widzimy, jak minimalizacja MAPE może prowadzić do stronniczej prognozy, z powodu różnicy kar, którą stosuje się do przeszacowania i niedomówień. W tym przypadku problem nie wynika z asymetrycznego rozkładu, ale z wysokiego współczynnika zmienności naszego procesu generowania danych.
Jest to właściwie prosta ilustracja, której możesz nauczyć ludzi o niedociągnięciach MAPE - po prostu podaj uczestnikom kilka kości i każ im rzucić. Aby uzyskać więcej informacji, zobacz Kolassa i Martin (2011) .
Powiązane pytania krzyżowe
Kod R.
Lognormal example:
mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"
set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))
opar <- par(mar=c(3,2,0,0)+.1)
plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
abline(v=101,col=SAPMediumGray)
xx <- seq(0,max(actuals),by=.1)
polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)
(min.Ese <- exp(mm+ss.sq/2))
lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)
(min.Eae <- exp(mm))
lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)
(min.Eape <- exp(mm-ss.sq))
lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)
Przykład rzutu kostką:
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"
set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)
opar <- par(mar=c(3,2,0,0)+.1)
plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
abline(v=101,col=SAPMediumGray)
min.Ese <- 3.5
lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)
min.Eape <- 2
lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)
Referencje
Gneiting, T. Tworzenie i ocena prognoz punktowych . Journal of the American Statistics Association , 2011, 106, 746-762
Goodwin, P. i Lawton, R. O asymetrii symetrycznego MAPE . International Journal of Forecasting , 1999, 15, 405–408
Hoover, J. Pomiar dokładności prognoz: pominięcia w dzisiejszych silnikach do prognozowania i oprogramowaniu do planowania popytu . Foresight: The International Journal of Applied Forecasting , 2006, 4, 32-35
Kolassa, S. Dlaczego „najlepsza” prognoza punktowa zależy od błędu lub miary dokładności (zaproszony komentarz na temat konkurencji w prognozowaniu M4). International Journal of Forecasting , 2020, 36 (1), 208-211
Kolassa, S. i Martin, R. Błędy procentowe mogą zrujnować Twój dzień (a Rolling the Dice pokazuje jak) . Foresight: The International Journal of Applied Forecasting, 2011, 23, 21-29
Kolassa, S. & Schütz, W. Zalety stosunku MAD / średnia w stosunku do MAPE . Foresight: The International Journal of Applied Forecasting , 2007, 6, 40-43
McKenzie, J. Średni bezwzględny błąd procentowy i błąd w prognozach ekonomicznych . Economics Letters , 2011, 113, 259-262