Co jest dobrym AUC dla krzywej przywołania dokładności?

11

Ponieważ mam bardzo niezrównoważony zestaw danych (9% pozytywnych wyników), zdecydowałem, że krzywa przywołania dokładności jest bardziej odpowiednia niż krzywa ROC. Otrzymałem analogiczną miarę sumaryczną pola powierzchni pod krzywą PR (0,49, jeśli jesteś zainteresowany), ale nie jestem pewien, jak ją interpretować. Słyszałem, że 0,8 lub więcej to dobry AUC dla ROC, ale czy ogólne wartości odcięcia byłyby takie same dla AUC dla krzywej dokładności?

użytkownik52568
źródło

Odpowiedzi:

12

Nie ma magicznej granicy dla AUC-ROC ani AUC-PR. Wyższy jest oczywiście lepszy, ale jest całkowicie zależny od aplikacji.

Na przykład, jeśli uda ci się zidentyfikować opłacalne inwestycje z AUC wynoszącym 0,8 lub, jeśli to możliwe, czymkolwiek, co odróżnia się od przypadku, byłbym pod wielkim wrażeniem, a ty byłbyś bardzo bogaty. Z drugiej strony, klasyfikowanie odręcznych cyfr o AUC 0,95 jest nadal znacznie poniżej obecnego stanu techniki.

Ponadto, chociaż gwarantuje się, że najlepszy możliwy AUC-ROC ma wartość [0,1], nie jest to prawdą w przypadku krzywych przywoływania dokładności, ponieważ mogą istnieć „nieosiągalne” obszary przestrzeni PR, w zależności od pochylenia rozkładów klas. (Szczegółowe informacje znajdują się w tym opracowaniu Boyda i in. (2012) ).

Matt Krause
źródło
Myślałem, że tam także nieosiągalne części AUC. Ale może się mylić.
Charles
4
W dokumencie, który połączyłem, napisano: „Powiązana, ale wcześniej nierozpoznana, różnica między dwoma rodzajami krzywych polega na tym, że chociaż dowolny punkt w przestrzeni ROC jest osiągalny, nie każdy punkt w przestrzeni PR jest osiągalny”. u góry strony 2. Myślę, że to dlatego, że musisz uszeregować wszystkie dokumenty w swojej kolekcji pod kątem P / R, więc nawet najbardziej pesymistyczny system w końcu odzyska odpowiedni przedmiot. Jednak w przypadku ROC możesz nazwać wszystkie pozytywne przykłady „-” i wszystkie negatywne przykłady „+”, co dałoby ci 100% fałszywie dodatni / 100% fałszywie ujemny odsetek.
Matt Krause,
Dzięki! Powinienem spojrzeć na papier przed komentowaniem.
Charles
Zgadzam się, że nie ma magicznej liczby. Jednak zdecydowanie warto zrozumieć, że na przykład 0,95 AUC-ROC oznacza, że ​​zasadniczo rozwiązałeś problem i masz bardzo, bardzo dobry klasyfikator. Natomiast AUC wynoszące 0,6 dla znalezienia zyskownych inwestycji może być, ściślej mówiąc, lepsze niż losowe, ale niewiele lepsze. To powiedziawszy, jak wspomniałeś, wciąż można go odróżnić od przypadku i może przynieść ci dobrą strategię.
shiri,
0

.49 nie jest świetny, ale jego interpretacja jest inna niż ROC AUC. W przypadku ROC AUC, jeśli uzyskałeś 0,49 za pomocą modelu regresji logistycznej, powiedziałbym, że nie masz nic lepszego niż przypadek. Jednak dla 0,49 PR AUC może nie być tak źle. Zastanowiłbym się nad indywidualną precyzją i przypomnieniem, być może jedno lub drugie jest tym, co obniża twoje AUC PR. Przypomnienie powie ci, ile z tych 9% pozytywnych klas właściwie zgadujesz. Precyzja powie Ci, ile osób uznało, że nie były pozytywne. (Fałszywe pozytywy). Przywołanie 50% byłoby złe, co oznacza, że ​​nie zgadujesz wielu z niezrównoważonej klasy, ale być może 50% precyzji nie byłoby złe. Zależy od twojej sytuacji.

David
źródło
0

Przypadkowy estymator miałby w twoim przypadku PR-AUC 0,09 (9% pozytywnych wyników), więc Twój 0,49 jest zdecydowanie znaczącym wzrostem.

Jeśli jest to dobry wynik, można go ocenić jedynie w porównaniu z innymi algorytmami, ale nie podałeś szczegółowych informacji na temat zastosowanej metody / danych.

Dodatkowo możesz ocenić kształt swojej krzywej PR. Idealna krzywa PR biegnie od lewego górnego rogu poziomo do prawego górnego rogu i prosto w dół do prawego dolnego rogu, co daje PR-AUC równy 1. W niektórych zastosowaniach krzywa PR pokazuje zamiast tego silny skok na początku, aby szybko upuść ponownie w pobliżu „losowej linii estymatora” (pozioma linia z precyzją 0,09 w twoim przypadku). Oznaczałoby to dobre wykrycie „silnych” pozytywnych wyników, ale słabą skuteczność w przypadku mniej wyraźnych kandydatów.

Jeśli chcesz znaleźć dobry próg dla parametru odcięcia algorytmu, możesz rozważyć punkt na krzywej PR, który znajduje się najbliżej prawego górnego rogu. Lub jeszcze lepiej, jeśli to możliwe, rozważ krzyżową weryfikację. Możesz osiągnąć dokładność i przywołać wartości dla określonego parametru odcięcia, które są bardziej interesujące dla twojej aplikacji niż wartość PR-AUC. Wartości AUC są najbardziej interesujące przy porównywaniu różnych algorytmów.

Edgar
źródło