Ocenianie wydajności modelu regresji za pomocą zestawów szkoleniowych i testowych?

10

Często słyszę o ocenie wydajności modelu klasyfikacyjnego poprzez trzymanie zestawu testowego i szkolenie modelu na zestawie treningowym. Następnie tworzymy 2 wektory, jeden dla przewidywanych wartości i jeden dla prawdziwych wartości. Oczywiście dokonanie porównania pozwala ocenić wydajność modelu na podstawie jego mocy predykcyjnej przy użyciu takich parametrów, jak F-Score, statystyki Kappa, precyzja i przywołanie, krzywe ROC itp.

Jak to się ma do oceny prognoz numerycznych, takich jak regresja? Zakładam, że można wyszkolić model regresji na zestawie treningowym, użyć go do przewidywania wartości, a następnie porównać te przewidywane wartości z wartościami rzeczywistymi znajdującymi się w zestawie testowym. Oczywiście miary wydajności musiałyby być inne, ponieważ nie jest to zadanie klasyfikacyjne. Zwykłe reszty i statystyki są oczywiste środki, ale są tam więcej / lepsze sposoby oceny wydajności dla modeli regresji? Wygląda na to, że klasyfikacja ma tak wiele opcji, ale regresję pozostawia się R.R2) i pozostałości.R2)

StatTime
źródło
1
Nie jestem pewien, jakie dokładnie pytanie zadajesz, ale oczywistą miarą błędu dla modelu regresji z ciągłym wyjściem jest średni błąd kwadratowy (MSE) między wyjściem modelu a zmienną wynikową.
BGreene
Tak więc tylko miara błędu między faktycznym a przewidywanym.
StatTime
Tak, zoptymalizowany na zestawie treningowym i zatwierdzony przy użyciu zestawu testowego.
BGreene,

Odpowiedzi:

2

Jak powiedziano, zwykle stosuje się średni błąd kwadratu. Obliczasz model regresji na podstawie zestawu treningowego i oceniasz jego wydajność przy użyciu osobnego zestawu testowego (zestawu na wejściach x i znanych przewidywanych wyjściach y) poprzez obliczenie MSE między wyjściami zestawu testowego (y) a danymi wyjściowymi według modelu (f (x)) dla tych samych danych wejściowych (x).

Alternatywnie możesz użyć następujących wskaźników: Błąd pierwiastkowy do kwadratu, Błąd względny do kwadratu, Błąd średni bezwzględny, Błąd względny bezwzględny ... (definicje w Google)

Merima Kulin
źródło
mirr=ZA(x-xja)+b(x-xja)2)