Dlaczego obszar pod krzywą ROC to prawdopodobieństwo, że klasyfikator uszereguje losowo wybraną „pozytywną” instancję (na podstawie uzyskanych prognoz) wyższą niż przypadkowo wybrana „pozytywna” instancja (z oryginalnej pozytywnej klasy)? W jaki sposób można udowodnić matematycznie to stwierdzenie za pomocą całki, podając CDF i PDF prawdziwie dodatnie i ujemne rozkłady klas?
probability
roc
auc
ffff
źródło
źródło
Odpowiedzi:
Po pierwsze, spróbujmy formalnie zdefiniować obszar pod krzywą ROC. Niektóre założenia i definicje:
Mamy klasyfikator probabilistyczny, który wyprowadza „wynik” s (x), gdzie x są cechami, a s jest ogólną rosnącą funkcją monotoniczną szacowanego prawdopodobieństwa p (klasa = 1 | x).
Klasyfikację nowej obserwacji uzyskuje się, porównując wynik s do progu t
Ponadto, dla wygody matematycznej, rozważmy klasę dodatnią (wykryte zdarzenie) k = 0 i ujemną k = 1. W tym ustawieniu możemy zdefiniować:
Krzywa ROC jest wówczas wykresem stosunku do . Ustawiając , możemy formalnie zdefiniować obszar pod krzywą ROC jako: Zmiana zmiennej ( ):F0(t) F1(t) v=F1(s)
Ta formuła może być łatwo postrzegana jako prawdopodobieństwo, że losowo wybrany członek klasy 0 da wynik niższy niż wynik losowo losowanego członka klasy 1.
Ten dowód pochodzi z: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf
źródło
Odpowiedź @ alebu jest świetna. Ale jego notacja jest niestandardowa i używa 0 dla klasy dodatniej i 1 dla klasy ujemnej. Poniżej znajdują się wyniki standardowej notacji (0 dla klasy ujemnej i 1 dla klasy dodatniej):
Pdf i cdf wyniku dla klasy negatywnej: if0(s) F0(s)
Pdf i cdf wyniku dla klasy pozytywnej: if1(s) F1(s)
FPR =x(s)=1−F0(s)
TPR =y(s)=1−F1(s)
gdzie oznacza próg. Interpretację można zastosować w odpowiedzi @ alebu do ostatniego wyrażenia.τ
źródło
Metodą obliczania AUC-ROC jest wykreślenie TPR i FPR jako progu, jest zmienione i obliczenie pola pod tą krzywą. Ale dlaczego ten obszar pod krzywą jest taki sam jak to prawdopodobieństwo? Załóżmy, że:τ
Zauważ, że TPR (przywołanie) jest podane przez: a FPR (opadanie) to: .P(A>τ) P(B>τ)
Teraz wykreślamy TPR na osi y i FPR na osi x, rysujemy krzywą dla różnych i obliczamy pole pod tą krzywą ( ).τ AUC
Otrzymujemy:
Teraz tutaj był tylkox FPR
Ale wiemy z odwrotnej transformacji prawa , że dla każdej zmiennej losowej , jeśli następnie . Wynika to z faktu, że pobranie dowolnej zmiennej losowej i zastosowanie do niej własnego CDF prowadzi do uzyskania munduru.X FX(Y)∼U Y∼X
Wykorzystanie tego faktu w równaniu (2) daje nam:
Podstawiając to do równania (1) otrzymujemy:
Innymi słowy, pole pod krzywą to prawdopodobieństwo, że losowa próbka dodatnia będzie miała wyższy wynik niż losowa próbka ujemna.
źródło