Jak ustalić optymalny próg klasyfikatora i wygenerować krzywą ROC?

Powiedzmy, że mamy klasyfikator SVM, w jaki sposób generujemy krzywą ROC? (Jak teoretycznie) (ponieważ generujemy TPR i FPR z każdym progiem). Jak ustalić optymalny próg dla tego klasyfikatora SVM?

Użyj klasyfikatora SVM, aby sklasyfikować zestaw adnotowanych przykładów, i można zidentyfikować „jeden punkt” w przestrzeni ROC na podstawie jednej prognozy przykładów. Załóżmy, że liczba przykładów wynosi 200, najpierw policz liczbę przykładów czterech przypadków.

Następnie oblicz TPR (True Positive Rate) i FPR (False Positive Rate). , a Na przestrzeni ROC oś x to FPR, a oś y to TPR. Zatem punkt . Aby narysować krzywą ROC, po prostu (1) Dostosuj wartość progową, która kontroluje liczbę przykładów oznaczonych jako prawda lub fałsz$TPR = 71/ (71+57)=0.5547$$FPR=28/(28+44) = 0.3889$$(0.3889, 0.5547)$



Na przykład, jeśli stężenie niektórych białek powyżej α% oznacza chorobę, różne wartości α dają różne końcowe wartości TPR i FPR. Wartości progowe można po prostu ustalić w sposób podobny do wyszukiwania siatki; znakuj przykłady treningu z różnymi wartościami progowymi, trenuj klasyfikatory z różnymi zestawami oznaczonych przykładów, uruchom klasyfikator na danych testowych, oblicz wartości FPR i wybierz wartości progowe, które obejmują niskie (blisko 0) i wysokie (blisko 1) FPR wartości, tj. zbliżone do 0, 0,05, 0,1, ..., 0,95, 1

(2) Wygeneruj wiele zestawów przykładów z adnotacjami
(3) Uruchom klasyfikator na zestawach przykładów
(4) Oblicz punkt (FPR, TPR) dla każdego z nich
(5) Narysuj ostatnią krzywą ROC

Niektóre szczegóły można sprawdzić w http://en.wikipedia.org/wiki/Receiver_operating_characteristic .

Poza tym te dwa linki są przydatne w określaniu optymalnego progu. Prostą metodą jest przyjęcie tej z maksymalną sumą prawdziwie dodatnich i fałszywie ujemnych stóp. Inne dokładniejsze kryteria mogą obejmować inne zmienne obejmujące różne progi, takie jak koszty finansowe itp.
Http://www.medicalbiostatistics.com/roccurve.pdf
http://www.kovcomp.co.uk/support/XL-Tut/life-ROC -krzywych-odbiornik-operacja-charakterystyczna.html

Naprawdę łatwym sposobem na wybranie progu jest pobranie mediany przewidywanych wartości przypadków dodatnich dla zestawu testowego. To staje się twoim progiem.

Próg zbliża się względnie do tego samego progu, jaki można uzyskać, stosując krzywą roc, w której nakładają się prawdziwie dodatnie współczynniki (tpr) i 1 - fałszywie dodatnie współczynniki (fpr). Ten krzyż tpr (krzyż) 1-fpr maksymalizuje wartość prawdziwie dodatnią, jednocześnie minimalizując liczbę fałszywych negatywów.

Wybierz punkt znajdujący się najbliżej lewego górnego rogu pola ROC. Teraz próg użyty do wygenerowania tego punktu powinien być optymalny.

$TPR-FPR$