Średni błąd bezwzględny LUB średni błąd kwadratu pierwiastka?

Dlaczego warto korzystać z podstawowego średniego błędu kwadratu (RMSE) zamiast średniego bezwzględnego błędu (MAE)?

cześć

Badałem błąd wygenerowany w obliczeniach - początkowo obliczyłem błąd jako błąd pierwiastkowy znormalizowany do kwadratu.

Patrząc trochę bliżej, widzę, że efekt kwadratu błędu nadaje większą wagę większym błędom niż mniejszym, przekrzywiając oszacowanie błędu w kierunku nieparzystej wartości odstającej. Jest to dość oczywiste z perspektywy czasu.

Więc moje pytanie - w jakim przypadku błąd pierwiastkowy średni kwadrat byłby bardziej odpowiednią miarą błędu niż średni błąd bezwzględny? To ostatnie wydaje mi się bardziej odpowiednie, czy coś mi brakuje?

Aby to zilustrować, załączyłem poniższy przykład:

Wykres rozproszenia pokazuje dwie zmienne o dobrej korelacji,
dwa histogramy po prawej stronie przedstawiają błąd między Y (obserwowany) i Y (przewidywany) przy użyciu znormalizowanego RMSE (u góry) i MAE (u dołu).

wprowadź opis zdjęcia tutaj

Nie ma znaczących wartości odstających w tych danych, a MAE podaje mniejszy błąd niż RMSE. Czy jest jakaś racjonalność, inna niż MAE, która jest lepsza, aby zastosować jedną miarę błędu nad drugą?

least-squares mean rms mae użytkownik1665220
źródło

Ponieważ RMSE i MAE są dwiema różnymi miarami błędu, ich porównanie numeryczne (które jest zaangażowane w stwierdzenie, że MAE jest „niższe” niż RMSE) nie wydaje się mieć znaczenia. Linia ta musiała być dopasowana zgodnie z jakimś kryterium: to kryterium, bez względu na to, musi być odpowiednią miarą błędu.

whuber

linia została dopasowana przy użyciu najmniejszych kwadratów - ale zdjęcie jest tylko przykładem pokazującym różnicę w zmierzonym błędzie. Moim prawdziwym problemem jest użycie optymalizatora do rozwiązania czterech parametrów funkcji do pewnego stopnia zminimalizowanego błędu, MAE lub RMSE.

user1665220

Dziękuję za wyjaśnienie. Ale jakim błędem jesteś zainteresowany? Błąd dopasowania lub błędy w oszacowaniach parametrów ?

whuber

Błąd dopasowania. Mam próbki laboratoryjne, które dają y, które chcę przewidzieć za pomocą funkcji. Optymalizuję funkcję dla 4 wykładników, minimalizując błąd dopasowania między obserwowanymi a przewidywanymi danymi.

user1665220

W RMSE bierzemy pod uwagę pierwiastek z liczby elementów (n). To jest katalog główny MSE podzielony przez katalog główny n. Korzeń MSE jest w porządku, ale zamiast dzielić przez n, dzieli się go przez pierwiastek z n, aby otrzymać RMSE. Czuję, że byłaby to polityka. Rzeczywistością byłoby (Root of MSE) / n. W ten sposób MAE jest lepszy.

Odpowiedzi:

To zależy od funkcji utraty. W wielu okolicznościach sensowne jest nadanie większej wagi punktom znajdującym się dalej od średniej - to znaczy, że nieobecność o 10 jest ponad dwa razy większa niż rezygnacja o 5. W takich przypadkach RMSE jest bardziej odpowiednią miarą błędu.

Jeśli nieobecność o dziesiątej jest tylko dwa razy gorsza niż rezygnacja o piątej, MAE jest bardziej odpowiednie.

W każdym razie nie ma sensu porównywanie ze sobą RMSE i MAE, tak jak w zdaniu od ostatniego do ostatniego („MAE daje mniejszy błąd niż RMSE”). MAE nigdy nie będzie wyższy niż RMSE ze względu na sposób ich obliczania. Mają sens tylko w porównaniu z tą samą miarą błędu: możesz porównać RMSE dla Metody 1 z RMSE dla Metody 2 lub MAE dla Metody 1 do MAE dla Metody 2, ale nie możesz powiedzieć, że MAE jest lepszy niż RMSE dla Metody 1, ponieważ jest mniejszy.

Jonathan Christensen
źródło

Rozumiem, że MAE nigdy nie będzie wyższy niż RMSE. Użyłem obu oszacowań błędów i przyjrzałem się różnicy między wartościami, aby wskazać wpływ wartości odstających. To znaczy, kiedy są blisko siebie, kiedy się od siebie oddalają, badam, co się dzieje. Ostatecznie chcę przewidzieć parametry, które najlepiej pasują do danych, i np. Błąd 9% brzmi lepiej niż 12% - chciałem tylko upewnić się, że wybieram właściwy z właściwego powodu. Pozdrawiam za radę

1665220

Główna różnica między RMSE (w konsekwencji MSE) a MAE nie polega na tym, jak ważą błędy. W razie potrzeby możesz użyć funkcji wagi. Główną różnicą jest to, że MSE jest związany z L2 Space (MAE nie ma czegoś takiego). Tak więc na przykład MSE może zmierzyć ilość energii potrzebnej do sterowania w pętli zamkniętej, gdy E jest sygnałem sprzężenia zwrotnego (Pamiętaj średni kwadrat sygnału, w tym przypadku Błąd, jest proporcjonalny do jego energii). Także w tej przestrzeni działa tak wiele matematyki, a co za tym idzie algorytmów takich jak Marquardt-Levenberg. mówiąc najprościej, używają MSE jako funkcji celu.

eulerleibniz

Oto kolejna sytuacja, w której chcesz użyć (R) MSE zamiast MAE: gdy rozkład warunkowy twoich obserwacji jest asymetryczny i chcesz bezstronnego dopasowania. (R) MSE jest zminimalizowane przez średnią warunkową , MAE przez warunkową medianę . Jeśli więc zminimalizujesz MAE, dopasowanie będzie bliższe medianie i stronnicze.

Oczywiście wszystko to zależy od funkcji utraty.

Ten sam problem występuje, jeśli używasz MAE lub (R) MSE do oceny prognoz lub prognoz . Na przykład, dane o wolumenie sprzedaży zwykle mają rozkład asymetryczny. Jeśli zoptymalizujesz MAE, możesz być zaskoczony, że prognoza optymalna dla MAE jest zerową prognozą.

Oto krótka prezentacja na ten temat , a oto niedawno zaproszony komentarz na temat konkursu prognozowania M4, w którym wyjaśniłem ten efekt .

S. Kolassa - Przywróć Monikę
źródło

+1. Pomysł porównywania dystrybucji jest świetny, ale ... czy metryka taka jak ta, którą przedstawisz, zawodzi niestety w czymś takim N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)? „Różnica” gęstości predykcyjnej byłaby minimalna, ale rzeczywista yhatbyłaby bezużyteczna. To prawda, że jest to skrajny przypadek. (Być może brakuje mi czegoś oczywistego, przepraszam za to z góry - nie mam dostępu do gazety tylko prezentacja.)

usεr11852 mówi Przywróć Monic

\hat{y} = 1

$\hat{y}=1$

Dziękuję bardzo za wyjaśnienia; Teraz mogę lepiej konceptualizować prezentację. (Hmm ... muszę w końcu wziąć twój papier. :))

usεr11852 mówi: Przywróć Monic

@ usεr11852: nie krępuj się ze mną skontaktować przez e-mail ( znajdź adres tutaj ) - jeśli twoja poczta nie znajdzie się w moim filtrze spamu, z przyjemnością wyślę ci ten papier.

S. Kolassa - Przywróć Monikę

@ usεr11852 Całkowicie straciłem cię po „jak N =” co to jest?

sak

RMSE to bardziej naturalny sposób opisywania strat w odległości euklidesowej. Dlatego jeśli zobrazujesz to w 3D, strata ma kształt stożka, jak widać powyżej na zielono. Dotyczy to również wyższych wymiarów, chociaż trudniej to sobie wyobrazić.

MAE można traktować jako odległość od miasta. To nie jest tak naturalny sposób pomiaru straty, jak widać na wykresie w kolorze niebieskim.

dan dan
źródło