Ponieważ mam bardzo niezrównoważony zestaw danych (9% pozytywnych wyników), zdecydowałem, że krzywa przywołania dokładności jest bardziej odpowiednia niż krzywa ROC. Otrzymałem analogiczną miarę sumaryczną pola powierzchni pod krzywą PR (0,49, jeśli jesteś zainteresowany), ale nie jestem pewien, jak ją interpretować. Słyszałem, że 0,8 lub więcej to dobry AUC dla ROC, ale czy ogólne wartości odcięcia byłyby takie same dla AUC dla krzywej dokładności?
źródło
.49 nie jest świetny, ale jego interpretacja jest inna niż ROC AUC. W przypadku ROC AUC, jeśli uzyskałeś 0,49 za pomocą modelu regresji logistycznej, powiedziałbym, że nie masz nic lepszego niż przypadek. Jednak dla 0,49 PR AUC może nie być tak źle. Zastanowiłbym się nad indywidualną precyzją i przypomnieniem, być może jedno lub drugie jest tym, co obniża twoje AUC PR. Przypomnienie powie ci, ile z tych 9% pozytywnych klas właściwie zgadujesz. Precyzja powie Ci, ile osób uznało, że nie były pozytywne. (Fałszywe pozytywy). Przywołanie 50% byłoby złe, co oznacza, że nie zgadujesz wielu z niezrównoważonej klasy, ale być może 50% precyzji nie byłoby złe. Zależy od twojej sytuacji.
źródło
Przypadkowy estymator miałby w twoim przypadku PR-AUC 0,09 (9% pozytywnych wyników), więc Twój 0,49 jest zdecydowanie znaczącym wzrostem.
Jeśli jest to dobry wynik, można go ocenić jedynie w porównaniu z innymi algorytmami, ale nie podałeś szczegółowych informacji na temat zastosowanej metody / danych.
Dodatkowo możesz ocenić kształt swojej krzywej PR. Idealna krzywa PR biegnie od lewego górnego rogu poziomo do prawego górnego rogu i prosto w dół do prawego dolnego rogu, co daje PR-AUC równy 1. W niektórych zastosowaniach krzywa PR pokazuje zamiast tego silny skok na początku, aby szybko upuść ponownie w pobliżu „losowej linii estymatora” (pozioma linia z precyzją 0,09 w twoim przypadku). Oznaczałoby to dobre wykrycie „silnych” pozytywnych wyników, ale słabą skuteczność w przypadku mniej wyraźnych kandydatów.
Jeśli chcesz znaleźć dobry próg dla parametru odcięcia algorytmu, możesz rozważyć punkt na krzywej PR, który znajduje się najbliżej prawego górnego rogu. Lub jeszcze lepiej, jeśli to możliwe, rozważ krzyżową weryfikację. Możesz osiągnąć dokładność i przywołać wartości dla określonego parametru odcięcia, które są bardziej interesujące dla twojej aplikacji niż wartość PR-AUC. Wartości AUC są najbardziej interesujące przy porównywaniu różnych algorytmów.
źródło