Jak interpretować miary błędów?

Korzystam z klasyfikowania w Weka dla określonego zestawu danych i zauważyłem, że jeśli próbuję przewidzieć wartość nominalną, dane wyjściowe wyraźnie pokazują prawidłowe i niepoprawne wartości. Jednak teraz uruchamiam go dla atrybutu liczbowego, a wynikiem jest:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441 

Jak to interpretować? Próbowałem googlować przy każdym pojęciu, ale niewiele rozumiem, ponieważ statystyki nie należą do mojej dziedziny wiedzy. Byłbym bardzo wdzięczny za odpowiedź typu ELI5 pod względem statystyki.

Oznaczmy prawdziwą wartość zainteresowania jako a wartość oszacowaną za pomocą jakiegoś algorytmu jako \ hat {\ theta} .$\theta$$\hat{\theta}$

Korelacja mówi ci, ile są powiązane i . Daje wartości od do , gdzie to brak zależności, jest bardzo silna, zależność liniowa, a to odwrotna zależność liniowa (tzn. Większe wartości oznaczają mniejsze wartości lub odwrotnie versa). Poniżej znajduje się ilustrowany przykład korelacji.$\theta$$\hat{\theta}$$-1$$1$$0$$1$$-1$$\theta$$\hat{\theta}$

(źródło: http://www.mathsisfun.com/data/correlation.html )

Średni błąd bezwzględny wynosi:

$$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$$

Korzeń błąd średni kwadratowy wynosi:

$$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$$

Względny błąd bezwzględny :

$$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$$

gdzie to średnia wartość .$\overline{\theta}$$\theta$

Błąd względny pierwiastka z kwadratu:

$$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$$

Jak widać, wszystkie statystyki porównują prawdziwe wartości z ich szacunkami, ale robią to w nieco inny sposób. Wszystkie mówią ci „jak daleko” są twoje szacunkowe wartości od prawdziwej wartości . Czasami stosuje się pierwiastki kwadratowe, a czasem wartości bezwzględne - dzieje się tak dlatego, że przy stosowaniu pierwiastków kwadratowych wartości ekstremalne mają większy wpływ na wynik (zobacz Dlaczego kwadratowa różnica zamiast przyjmować wartość bezwzględną w odchyleniu standardowym? Lub na Mathoverflow ).$\theta$

W i po prostu patrzysz na „średnią różnicę” między tymi dwiema wartościami - więc interpretujesz je w porównaniu ze skalą twojej wartościowości (tj. Mathrm 1 punkt to różnica 1 punktu między i ).$\mathrm{ MAE}$$\mathrm{ RMSE}$$\mathrm{ MSE}$$\theta$$\hat{\theta}$$\theta$

W i te różnice przez odmianę więc mają one skalę od 0 do 1, a jeśli pomnożysz tę wartość przez 100, otrzymasz podobieństwo w skali 0-100 (tj. Procent ). Wartości lubpowiedzieć ci, jak bardzo różni się od jego średniej wartości - więc możesz powiedzieć, że chodzi o to, jak bardzo różni się od siebie (porównaj z wariancją ). Z tego powodu miary nazywane są „względnymi” - dają wynik związany ze skalą .$\mathrm{ RAE}$$\mathrm{ RRSE}$$\theta$$\sum(\overline{\theta} - \theta_i)^2$$\sum|\overline{\theta} - \theta_i|$$\theta$$\theta$$\theta$

Sprawdź także te slajdy .