Porównanie dwóch modeli, gdy krzywe ROC krzyżują się

13

Jednym z powszechnych mierników używanych do porównywania dwóch lub więcej modeli klasyfikacji jest wykorzystanie obszaru pod krzywą ROC (AUC) jako sposób na pośrednią ocenę ich wydajności. W takim przypadku model z większym AUC jest zwykle interpretowany jako działający lepiej niż model z mniejszym AUC. Ale według Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), gdy obie krzywe przecinają się, takie porównanie nie jest już ważne. Dlaczego tak jest

Na przykład, co można ustalić na temat modeli A, B i C na podstawie krzywych ROC i wartości AUC poniżej?

wprowadź opis zdjęcia tutaj

machine-learning classification roc auc model-evaluation Edu
źródło

Odpowiedzi:

19

ROC krzywa wizualizuje TPR i FPR dla wszystkich możliwych progów .

  • Jeśli narysujesz dwie krzywe ROC „A” i „B”, a one się nie przecinają , wówczas jeden z twoich klasyfikatorów wyraźnie działa lepiej, ponieważ dla wszystkich możliwych wartości FPR otrzymujesz wyższy TPR. Oczywiście obszar objęty ROC będzie również większy.

  • Jeśli się przecinają , to istnieje punkt, w którym FPR i TPR są takie same dla obu krzywych „A” i „B” . Nie można już powiedzieć, że jedna krzywa ROC działa lepiej, ponieważ zależy to teraz od preferowanego kompromisu. Czy chcesz wysokiej precyzji / niskiego przywołania czy niskiej precyzji / wysokiej przywołania ?

Przykład: Jeśli jeden klasyfikator działa znacznie lepiej przy współczynniku FPR wynoszącym 0,2, ale ważne jest, aby osiągnąć wysoki poziom przywołania , oznacza to, że osiąga dobre wyniki na poziomie, który Cię nie interesuje.

O krzywych ROC na wykresie: Możesz łatwo stwierdzić, że „A” działa znacznie lepiej, nawet nie wiedząc, co chcesz osiągnąć. Gdy tylko fioletowa krzywa przekroczy pozostałe, ponownie je przekroczy. Prawdopodobnie nie interesuje Cię ta niewielka część , w której „B” i „C” działają nieco lepiej .

Na poniższym wykresie widać dwie krzywe ROC, które również krzyżują się. Tutaj nie można powiedzieć, który z nich jest lepszy, ponieważ w pewnym sensie się uzupełniają .

Przekraczanie krzywych ROC

Zauważ, że na koniec dnia jesteś zainteresowany wybraniem jednego progu dla swojej klasyfikacji, a AUC daje jedynie ocenę ogólnej wydajności modelu .

Laksan Nathan
źródło
Tylko dla potwierdzenia, w moim przykładzie, jeśli wybiorę bardzo wysoką wartość odcięcia, gdzie precyzja jest duża, model A przewyższy B i C z dobrym marginesem?
Edu,
Skąd wiesz, gdzie precyzja jest duża? To jest ROC, a nie krzywa Precision-Recall. Dla Precision sprawdzasz prawdopodobieństwo True Positive, biorąc pod uwagę, że twój klasyfikator powiedział Positive.
Laksan Nathan