MAD = średnie odchylenie bezwzględne MSE = średni błąd kwadratu
Widziałem sugestie z różnych miejsc, że MSE jest używany pomimo pewnych niepożądanych właściwości (np. Http://www.stat.nus.edu.sg/~staxyc/T12.pdf , który stwierdza na p8 „Powszechnie uważa się, że MAD jest lepszym kryterium niż MSE. Jednak matematycznie MSE jest wygodniejszy niż MAD. ”)
Czy jest w tym coś więcej? Czy istnieje dokument, który dokładnie analizuje sytuacje, w których różne metody pomiaru błędu prognozy są bardziej / mniej odpowiednie? Moje wyszukiwania w Google nic nie ujawniły.
Podobne pytanie zadano na /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , a użytkownik został poproszony o opublikować na stats.stackexchange.com, ale nie sądzę, żeby kiedykolwiek tak było.
źródło
Odpowiedzi:
Aby zdecydować, który miernik błędu prognozy punktowej zastosować, musimy cofnąć się o krok. Zauważ, że nie znamy doskonale przyszłego wyniku ani nigdy. Zatem przyszły wynik jest zgodny z rozkładem prawdopodobieństwa . Niektóre metody prognozowania jawnie generują taki pełny rozkład, a niektóre nie - ale zawsze istnieje, choćby niejawnie.
Teraz chcemy mieć dobrą miarę błędów dla prognozy punktowej . Taki punkt prognozęFt jest naszą próbą podsumowania tego, co wiemy o przyszłej dystrybucji (tj dystrybucji predykcyjna) w czasie t , stosując jeden numer, tzw funkcjonalny gęstości przyszłości. Miara błędu jest zatem sposobem oceny jakości tego podsumowania z pojedynczą liczbą.
Dlatego powinieneś wybrać miarę błędu, która nagradza „dobre” podsumowania jednej liczby (nieznane, prawdopodobnie prognozowane, ale prawdopodobnie tylko dorozumiane) przyszłych gęstości.
Wyzwanie polega na tym, że różne miary błędów są minimalizowane przez różne funkcje. Oczekiwany MSE jest minimalizowany przez oczekiwaną wartość przyszłej dystrybucji. Oczekiwany MAD jest minimalizowany przez medianę przyszłej dystrybucji. Zatem jeśli skalibrujesz swoje prognozy, aby zminimalizować MAE, twoja prognoza punktowa będzie przyszłą medianą, a nie przyszłą oczekiwaną wartością, a twoje prognozy będą tendencyjne, jeśli twój przyszły rozkład nie będzie symetryczny.
Jest to najbardziej istotne w przypadku danych zliczania, które zwykle są przekrzywione. W skrajnych przypadkach (powiedzmy, Poisson dystrybuował sprzedaż ze średnią poniżejlog2≈0.69 ), MAE będzie najniższa dla prognozy zera zero. Zobacz tutaj lub tutaj lub tutaj, aby uzyskać szczegółowe informacje.
Podaję więcej informacji i ilustrację Jakie są niedociągnięcia w średnim bezwzględnym błędzie procentowym (MAPE)? Wątek ten uwzględnia mapę , ale także inne miary błędów i zawiera łącza do innych powiązanych wątków.
Ostatecznie to, którą miarę błędu zastosować, naprawdę zależy od kosztu błędu prognozy, tj. Jaki rodzaj błędu jest najbardziej bolesny. Bez patrzenia na rzeczywiste implikacje błędów prognoz, jakakolwiek dyskusja na temat „lepszych kryteriów” jest w zasadzie bezsensowna.
Miary dokładności prognoz były ważnym tematem w społeczności zajmującej się prognozowaniem kilka lat temu i wciąż pojawiają się od czasu do czasu. Jednym bardzo dobrym artykułem do obejrzenia jest Hyndman & Koehler „Kolejne spojrzenie na miary dokładności prognoz” (2006).
Wreszcie jedną z możliwości jest obliczenie pełnej gęstości predykcyjnej i ocena jej przy użyciu odpowiednich reguł punktacji .
źródło
Zalety używania MAE zamiast MSE wyjaśniono w Davydenko i Fildes (2016) , patrz sekcja 3.1:
Bibliografia
Davydenko, A., i Fildes, R. (2016). Prognozowane miary błędów: przegląd krytyczny i zalecenia praktyczne. W prognozowaniu biznesowym: praktyczne problemy i rozwiązania. John Wiley & Sons
źródło
Tak właściwie,
(This upper bound occurs for integer
If the RMSE is close the MAE, you have many small deviations, if it is close to its upper bound, there are few grossly wrong predictions.
źródło