Uzasadnienie zastosowania AUC?

10

Zwłaszcza w informatycznej literaturze dotyczącej uczenia maszynowego AUC (obszar pod krzywą charakterystyczną operatora odbiornika) jest popularnym kryterium oceny klasyfikatorów. Jakie są uzasadnienia korzystania z AUC? Np. Czy istnieje konkretna funkcja straty, dla której optymalną decyzją jest klasyfikator o najlepszym AUC?

charles.y.zheng
źródło
1
AUC jest funkcją straty, jasne jest, że dla tej funkcji straty optymalną decyzją jest klasyfikator o najlepszej AUC.
robin girard
1
@robingirard Nie, nie jest, ponieważ nie można go rozróżnić, tzn. nie można go bezpośrednio zoptymalizować.
cpury

Odpowiedzi:

15

domido(mi)[0,1]do(mi1)>do(mi0)mi1mi0 . Oznacza to, że minimalizuje utratę rangi prawdziwie negatywnego co najmniej tak dużego jak prawdziwie pozytywny.do(mi0)do(mi1)

erik
źródło
0

Weźmy prosty przykład identyfikowania dobrego pomidora z puli dobrych + złych pomidorów. Powiedzmy, że liczba dobrych pomidorów to 100, a zły pomidor to 1000, czyli w sumie 1100. Teraz Twoim zadaniem jest zidentyfikowanie jak największej liczby dobrych pomidorów. Jednym ze sposobów na uzyskanie dobrego pomidora jest przyjęcie 1100 pomidorów. Ale wyraźnie mówi, że nie jesteś w stanie odróżnić b / n dobra od zła .

Tak więc, jaki jest właściwy sposób różnicowania - potrzeba zebrania tylu dobrych, gdy zbiera się bardzo niewiele złych , więc potrzebujemy czegoś, co może powiedzieć, ile dobrych wybraliśmy, a także powiedzieć, co liczą złe to. Miara AUC daje większą wagę, jeśli jest w stanie wybrać więcej dobrych z kilkoma złymi, jak pokazano poniżej. co mówi, jak dobrze potrafisz rozróżnić b / n dobre i złe.

W przykładzie można zauważyć, że podczas zbierania 70% dobrych pomidorów czarna krzywa zebrała około 48% złych (nieczystości), ale niebieska ma 83% złych (nieczystość). Czarna krzywa ma więc lepszy wynik AUC w porównaniu do niebieskiej. wprowadź opis zdjęcia tutaj

yugandhar
źródło
Jak to odpowiada na pytanie?
Vivek Subramanian
Pisałem z intuicją o AUC, że pomaga to w przyznaniu pojedynczego wyniku dla zidentyfikowania dobrych (1 w klasyfikacji binarnej) w całej populacji przy jednoczesnym zmniejszeniu liczby wyników fałszywie dodatnich. Pomóż mi, jak mogłem to zrobić lepiej.
yugandhar