Porównać klasyfikatory oparte na AUROC lub dokładności?

11

Mam problem z klasyfikacją binarną i eksperymentuję z różnymi klasyfikatorami: chcę porównać klasyfikatory. który jest lepszym miernikiem AUC lub dokładnością? I dlaczego?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %
Sina
źródło

Odpowiedzi:

13

Proporcja prawidłowo sklasyfikowana jest niewłaściwą zasadą punktacji, tzn. Jest optymalizowana przez fałszywy model. Użyłbym kwadratowej właściwej reguły punktacji znanej jako wynik Briera lub prawdopodobieństwa zgodności (pole pod krzywą ROC w binarnym przypadku ). W twoim przypadku losowy las działa lepiej niż SVM.Y

Frank Harrell
źródło
Jeśli z zastrzeżeniem na próbkę o I{ 0 , 1 } jest obserwowany wynik binarnych i f I jest przewidywane prawdopodobieństwo „1”, to wynik jest Brier (jeśli zapamiętania) B = 1jaoja{0,1}fa^ja. Jak OP ma problemu klasyfikacji binarnejoIsą znane, ale jak można obliczyć f Idla SVM? b=1nja=1n(fa^ja-oja)2)ojafa^ja
@fcop Istnieje sposób na przekształcenie prognozy klasyfikacji binarnej SVM w prawdopodobieństwo, zwane skalowaniem Platta ( en.wikipedia.org/wiki/Platt_scaling ). Zasadniczo, zamiast obliczania klasyfikacji SVM Y I ( = + 1 i - 1 ), a Y i = s ı g n ( g ( y i , x ı ) ) , gdzie g ( y i , x i )y^ja=+1-1y^ja=sjasoln(sol(yja,xja))sol(yja,xja)Jest to rozwiązanie SVM wypukły problemu programowania kwadratowego Platt Skalowanie wykonuje logistycznej transformację : f I = P ( Y = 1 | x i ) = 1sol(yja,xja) gdzieAiBsą parametrami określonymi przez algorytm skalowania Platta. fa^ja=P.(Y=1|xja)=11+mixp(ZA×sol(yja,xja)+b)ZAb
RobertF
8

Myślę, że zdecydowanie powinieneś przyjrzeć się więcej metryk niż tylko AUC i dokładności.

Dokładność (wraz z czułością i swoistością) jest bardzo prostą, ale tendencyjną miarą, która zmusza cię do spojrzenia na wynik absolutnego przewidywania i nie otwiera się na potwierdzenie prawdopodobieństwa klasy lub rankingu. Nie bierze również pod uwagę populacji, która zachęca do błędnej interpretacji, ponieważ model dający 95% dokładność populacji z 95% szansą na poprawność losową nie jest tak naprawdę dobrym modelem, nawet jeśli dokładność jest wysoka.

AUC jest dobrą miarą dla zapewnienia dokładności modelu, która jest niezależna od prawdopodobieństw klasy populacji. Nie powie ci jednak nic o tym, jak dobre są faktycznie szacunki prawdopodobieństwa. Możesz uzyskać wysoki AUC, ale nadal masz bardzo zniekształcone szacunki prawdopodobieństwa. Ta miara jest bardziej dyskryminująca niż dokładność i na pewno da ci lepsze modele, gdy zostanie użyta w połączeniu z pewną właściwą zasadą punktacji, np. Ocena Briera, jak wspomniano w innym poście.

Możesz uzyskać bardziej formalny dowód tutaj, chociaż ten dokument jest dość teoretyczny: AUC: statystycznie spójna i bardziej dyskryminująca miara niż dokładność

Dostępnych jest jednak kilka dobrych wskaźników. Funkcje strat dla szacowania prawdopodobieństwa i klasyfikacji binarnej klasy: Struktura i zastosowania to dobry dokument sprawdzający właściwe reguły punktacji, takie jak wynik Briera.

Kolejnym interesującym dokumentem z miernikami potwierdzającymi skuteczność modelu jest Ocena: od precyzji, przywołania i miary F do ROC, poinformowanie, znaczność i korelacja uwzględniające inne dobre wskaźniki wydajności, takie jak poinformowanie.

Podsumowując, zaleciłbym przyjrzenie się wartości AUC / Gini i Briera w celu potwierdzenia wydajności modelu, ale w zależności od celu z twoim modelem inne wskaźniki mogą lepiej pasować do twojego problemu.

podczas
źródło
Link do oceny: od precyzji, wycofania i pomiaru F do ROC, brak informacji, oceny i korelacji
vonjd
Jeśli z zastrzeżeniem , że na próbkę o I ∈ { 0 , 1 } jest obserwowany wynik binarnych i f I jest przewidywane prawdopodobieństwo „1”, to wynik jest Brier (jeśli zapamiętania) B = jaoja{0,1}fa^jab=1nja=1n(fa^ja-oja)2)ojafa^ja
Żaden wynik brierscore nie jest świetny dla metod, które dają tylko wynik, a nie prawdopodobieństwo. Niether ma jednak dobre zdanie, ponieważ pokaże ci, jak dobrze oceniasz swoje prognozy. Tylko z wynikami uzyskasz tylko punkt w przestrzeni ROC, dlatego obszar pod krzywą będzie trójkątem. Ale nadal da ci liczbę, a więc i brierscore, choć mniej więcej przekształci się w stratę 0-1. Jeśli masz tylko wyniki, sugeruję przyjrzenie się Kappie Precyzji, Przypomnienia i Cohena, które są miernikami zaprojektowanymi, gdy masz wyniki.
podczas