Sprawdzam krzyżowo model, który próbuje przewidzieć liczbę. Gdyby to był problem z klasyfikacją binarną, obliczyłbym nieoczekiwane AUC, a jeśli byłby to problem regresji, obliczyłbym nieoczekiwanie RMSE lub MAE.
W przypadku modelu Poissona, jakich mierników błędów mogę użyć do oceny „dokładności” prognoz poza próbą? Czy istnieje rozszerzenie AUC Poissona, które sprawdza, jak dobrze prognozy porządkują wartości rzeczywiste?
Wydaje się, że wiele konkursów Kaggle na zliczanie (np. Liczba użytecznych głosów, które otrzyma recenzja yelp lub liczba dni, które pacjent spędza w szpitalu) wykorzystują średni błąd logarytmiczny lub RMLSE.
/ Edycja: Jedną rzeczą, którą robiłem, jest obliczanie decyli przewidywanych wartości, a następnie patrzenie na rzeczywistą liczbę, podzieloną przez decyl. Jeśli decyl 1 jest niski, decyl 10 jest wysoki, a decyle pomiędzy nimi ściśle się zwiększają, nazwałem model „dobrym”, ale miałem problem z określeniem tego procesu i przekonałem się, że jest lepszy podejście.
/ Edycja 2: Szukam formuły, która przyjmuje przewidywane i rzeczywiste wartości i zwraca pewną miarę „błędu” lub „dokładności”. Moim planem jest obliczenie tej funkcji na niezakłóconych danych podczas krzyżowej weryfikacji, a następnie użycie jej do porównania szerokiej gamy modeli (np. Regresja Poissona, losowy las i GBM ).
Na przykład jedną z takich funkcji jest RMSE = sqrt(mean((predicted-actual)^2))
. Inną taką funkcją byłaby AUC . Żadna z funkcji nie wydaje się odpowiednia dla danych Poissona.
Odpowiedzi:
Istnieje kilka właściwych i ściśle właściwych reguł punktacji dla danych zliczania, których możesz użyć. Reguły punktacji to kary wprowadzone, przy czym jest rozkładem predykcyjnym, wartością obserwowaną. Mają wiele pożądanych właściwości, przede wszystkim dlatego, że prognoza bliższa rzeczywistemu prawdopodobieństwu zawsze będzie podlegać mniejszej karze, a istnieje (unikalna) najlepsza prognoza, i taka jest, gdy przewidywane prawdopodobieństwo pokrywa się z prawdziwym prawdopodobieństwem. Zatem minimalizacja oczekiwań oznacza zgłoszenie prawdziwych prawdopodobieństw. Zobacz także Wikipedię .P y s ( y , P )s ( y, P) P. y s ( y, P)
Często przyjmuje się średnią z tych wszystkich przewidywanych wartości jako
Która reguła zależy od twojego celu, ale dam ci szorstką charakterystykę, kiedy każda z nich będzie dobra do użycia.
W dalszej części wykorzystuję dla funkcji predykcyjnej masy prawdopodobieństwa oraz funkcji predykcyjnego rozkładu skumulowanego. A działa na całej obsłudze rozkładu zliczania (tj. ). myśli funkcję wskaźnika. i są średnią i odchyleniem standardowym rozkładu predykcyjnego (które są zwykle bezpośrednio oszacowanymi wielkościami w modelach danych zliczeniowych). Pr ( Y = y ) F ( y ) ∑ k 0 , 1 , … , ∞ I μ σfa( y) Pr ( Y= y) fa( y) ∑k 0 , 1 , … , ∞ ja μ σ
Ściśle właściwe reguły punktacji
Inne reguły punktacji (niezbyt właściwe, ale często stosowane)
Przykładowy kod R dla ściśle właściwych reguł:
źródło
-log(f(y))
. Czy-
znak naprawdę powinien tam być? W linku do Wikipedii z reguły punktacji ( en.wikipedia.org/wiki/Scoring_rule#Logarithmic_scoring_rule ) wynik logarytmiczny jako brak znaku ujemnego:L(r,i)=ln(ri)
czy to normalne? Wreszcie, czy w takim przypadku wyższy wynik jest lepszy czy gorszy?