RMSE a współczynnik determinacji

Oceniam model fizyczny i chciałbym wiedzieć, której z metod powinienem tutaj użyć (między RMSE a współczynnikiem determinacji R2)

Problem jest następujący: Mam funkcję, która wyświetla prognozy dla wartości wejściowej x, . Mam też faktyczną obserwację tej wartości, którą nazywam $\overline{y_x}= f(x)$ .$y_x$

Moje pytanie brzmi, jakie są plusy i minusy obu RMSE lub $R^2$ . Widziałem, jak oba z nich są używane w papierach z powodu problemu, nad którym pracuję.

Użyłem ich obu i mam kilka punktów do zrobienia.

• Rmse jest użyteczny, ponieważ łatwo go wyjaśnić. Wszyscy wiedzą co to jest.
• Rmse nie pokazuje wartości względnych. Jeśli , musisz dokładnie znać zakres α < y x < β . Jeśli α = 1 , β = 1000 , to 0,2 jest dobrą wartością. Jeśli α = 0 , β $rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$ , nie wydaje się już tak dobrze.
• Zgodnie z poprzednim podejściem rmse jest dobrym sposobem na ukrycie faktu, że osoby, które badałeś lub pomiary, które wykonałeś, są w większości jednakowe (wszyscy ocenili produkt z 3 gwiazdkami), a twoje wyniki wyglądają dobrze, ponieważ dane ci pomogły. Gdyby dane były nieco losowe, model znalazłby się na orbicie Jowisza.
• Użyj skorygowanego współczynnika determinacji zamiast zwykłego $R^2$
• Współczynnik determinacji jest trudny do wyjaśnienia. Nawet ludzie z pola potrzebują takiej wskazówki, jak \ przypis {Skorygowany współczynnik determinacji to proporcja zmienności w zbiorze danych, którą można wyjaśnić modelem statystycznym. Ta wartość pokazuje, jak dobrze model może przewidzieć przyszłe wyniki. $R^2$ może przyjąć 0 jako minimum, a 1 jako maksimum.}
• Współczynnik determinacji jest jednak bardzo precyzyjny w określaniu, jak dobrze Twój model wyjaśnia zjawisko. jeśli , niezależnie od wartości y x , twój model jest zły. Uważam, że punkt odcięcia dla dobrego modelu zaczyna się od 0,6, a jeśli masz coś około 0,7-0,8, twój model jest bardzo dobry.$R^2=0.2$$y_x$
• Reasumując, mówi, że w twoim modelu możesz wyjaśnić 70% tego, co dzieje się w rzeczywistych danych. Reszta, 30%, jest czymś, czego nie znasz i nie możesz wyjaśnić. Prawdopodobnie dzieje się tak dlatego, że występują czynniki zakłócające lub popełniłeś błędy przy konstruowaniu modelu.$R^2=0.7$
• W informatyce prawie wszyscy używają rmse. Nauki społeczne wykorzystują $R^2$ częściej.
• Jeśli nie musisz uzasadniać parametrów w swoim modelu, po prostu użyj rmse. Jednakże, jeśli trzeba umieścić w, usunąć lub zmienić parametry podczas budowania modelu, trzeba używać , aby pokazać, że te parametry mogą wyjaśnić dane najlepiej.$R^2$
• Jeśli będziesz używać , kod w języku R. Ma biblioteki, a ty po prostu podajesz dane, aby uzyskać wszystkie wyniki.$R^2$

Dla początkującego informatyka ekscytujące było pisanie o statystykach. Z poważaniem.

Bez względu na to, jaki pomiar błędu podajesz, rozważ podanie pełnego wektora wyniku w załączniku. Ludzie, którzy lubią porównywać z twoją metodą, ale wolą inny pomiar błędu, mogą czerpać taką wartość z tabeli.

$R^2$ :

• $R^2$ zbliżone do 1.

• $R^2$

• Można to wyrazić za pomocą łatwej do zrozumienia formuły, w której buduje się stosunek sumy kwadratów reszt i dzieli przez średnią:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• $R^2_{adj.}$. Tutaj więcej predyktorów karze model. Oczekuje się, że będzie bardziej odporny na nadmierne dopasowanie.

$RMSE$:

• Możesz osiągnąć niski poziom $RMSE$tylko dzięki wysokiej precyzji (pojedyncze, ale duże wartości odstające silnie karają) i bez systematycznego błędu. W pewien sposób niski$RMSE$ gwarantuje lepszą jakość niż wysoka $R^2$ robi.

• Ten numer ma jednostkę i nie jest łatwy do interpretacji dla osób, które nie znają twoich danych. Można go na przykład podzielić ze średnią danych, aby uzyskać a$rel. RMSE$. Uważaj, to nie jedyna definicja$rel. RMSE$. Niektóre osoby wolą dzielić według zakresu swoich danych niż dzielić według średniej.

As other people mentioned, the choice might be dependent on your field and state of the art. Is there a hugely accepted method to compare too? Use the same measurement as they do and you are able to directly link your methods benefits easily in the discussion.

Both the Root-Mean-Square-Error (RMSE) and coefficient of determination ($R^2$) oferują różne, ale uzupełniające się informacje, które należy ocenić podczas oceny modelu fizycznego. Nie jest też „lepszy”, ale niektóre raporty mogą koncentrować się bardziej na jednej metryki w zależności od konkretnej aplikacji.

Użyłbym tego jako bardzo ogólnego przewodnika, aby zrozumieć różnicę między tymi dwoma danymi:

RMSE daje poczucie tego, jak blisko (lub daleko) Twoje przewidywane wartości są z rzeczywistych danych, które próbujesz modelu. Jest to przydatne w różnych aplikacjach, w których chcesz zrozumieć dokładność i precyzję prognoz modelu (np. Modelowanie wysokości drzewa).

Plusy

1. Jest to stosunkowo łatwe do zrozumienia i przekazania, ponieważ zgłaszane wartości są w tych samych jednostkach, co modelowana zmienna zależna.

Cons

1. Jest wrażliwy na duże błędy (bardziej karze większe błędy prognozowania niż mniejsze błędy prognozowania).

Współczynnik korelacji ($R^2$) jest przydatny, gdy próbujesz zrozumieć, jak dobrze wybrane zmienne niezależne wyjaśniają zmienność zmiennych zależnych. Jest to przydatne, gdy próbujesz wyjaśnić, jakie czynniki mogą napędzać leżący u podstaw proces zainteresowania (np. Zmienne klimatyczne i warunki glebowe związane z wysokością drzewa).

Plusy

1. Daje ogólny obraz tego, jak dobrze wybrane zmienne pasują do danych.

Cons

1. W miarę dodawania do modelu więcej niezależnych zmiennych, $R^2$wzrasta (patrz przym.$R^2$lub Kryterium informacyjne Akaike jako potencjalne alternatywy).

Oczywiście powyższe będzie uzależnione od wielkości próby i projektu próbkowania oraz ogólnego zrozumienia, że ​​korelacja nie implikuje związku przyczynowego.

Istnieje również MAE, Mean Absolute Error. W przeciwieństwie do RMSE, nie jest zbyt wrażliwy na duże błędy. Z tego, co przeczytałem, niektóre pola wolą RMSE, inne MAE. Lubię używać obu.

W rzeczywistości, dla naukowców statystycznych powinien znać najlepsze dopasowanie modelu, wtedy RMSE jest bardzo ważny dla tych ludzi w jego solidnych badaniach. Jeśli RMSE jest bardzo bliski zeru, wtedy model jest najlepiej dopasowany.

Współczynnik determinacji jest dobry dla innych naukowców, takich jak rolnictwo i inne dziedziny. Jest to wartość z zakresu od 0 do 1. Jeśli jest to 1, 100% wartości odpowiada obserwowanym zestawom danych. Jeśli wynosi 0, to dane są całkowicie niejednorodne. Dr.SK. Khadar Babu, VIT University, Vellore, TamilNadu, Indie.

Jeśli do każdego elementu jednego z wektorów zostanie dodana pewna liczba, zmieni się RMSE. To samo, jeśli wszystkie elementy jednego lub obu wektorów są pomnożone przez liczbę. Następuje kod R;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

Ostatecznie różnicą jest po prostu standaryzacja, ponieważ obie prowadzą do wyboru tego samego modelu, ponieważ RMSE razy liczba obserwacji znajduje się w liczniku lub do kwadratu R, a mianownik tego drugiego jest stały we wszystkich modelach (wystarczy wykreślić jedną miarę względem inne dla 10 różnych modeli).