Jak nazywa się ten wykres pokazujący fałszywe i prawdziwe dodatnie wskaźniki i jak jest generowany?

Poniższy obraz pokazuje ciągłą krzywą współczynników fałszywie dodatnich w stosunku do rzeczywistych wartości dodatnich:

Nie od razu jednak rozumiem, jak obliczane są te stawki. Jeśli metoda jest zastosowana do zestawu danych, ma ona określoną szybkość FP i określoną szybkość FN. Czy to nie znaczy, że każda metoda powinna mieć jeden punkt zamiast krzywej? Oczywiście istnieje wiele sposobów konfigurowania metody, generujących wiele różnych punktów, ale nie jest dla mnie jasne, w jaki sposób jest to kontinuum stawek ani w jaki sposób jest generowane.

Wykres jest krzywą ROC, a punkty (Fałszywe dodatnie, Prawdziwe dodatnie) obliczane są dla różnych progów. Zakładając, że masz jednolitą funkcję użyteczności, optymalną wartością progową jest ta dla punktu najbliższego (0, 1).

Aby wygenerować krzywe ROC (= charakterystyczne charakterystyki odbiornika):

Załóżmy, że mamy probabilistyczny, binarny klasyfikator, taki jak regresja logistyczna. Przed przedstawieniem krzywej ROC należy zrozumieć pojęcie macierzy zamieszania . Gdy wykonujemy binarną prognozę, mogą występować 4 rodzaje błędów:

• Przewidujemy 0, podczas gdy powinniśmy mieć klasę w rzeczywistości 0: nazywa się to True Negative , tj. Poprawnie przewidujemy, że klasa jest ujemna (0). Na przykład program antywirusowy nie wykrył nieszkodliwego pliku jako wirusa.
• Przewidujemy 0, podczas gdy powinniśmy mieć klasę faktycznie 1: nazywa się to False Negative , tj. Niepoprawnie przewidujemy, że klasa jest ujemna (0). Na przykład program antywirusowy nie wykrył wirusa.
• Przewidujemy, że 1, podczas gdy powinniśmy mieć klasę, wynosi 0: nazywa się to False Positive , tj. Niepoprawnie przewidujemy, że klasa jest dodatnia (1). Na przykład program antywirusowy uważał nieszkodliwy plik za wirusa.
• Przewidujemy 1, podczas gdy powinniśmy mieć klasę w rzeczywistości 1: nazywa się to Prawdziwie Pozytywnym , tj. Poprawnie przewidujemy, że klasa jest dodatnia (1). Na przykład program antywirusowy prawidłowo wykrył wirusa.

Aby uzyskać macierz nieporozumień, przeglądamy wszystkie przewidywania wykonane przez model i liczymy, ile razy wystąpi każdy z tych 4 typów błędów:

W tym przykładzie macierzy pomieszania, spośród 50 punktów danych, które są sklasyfikowane, 45 jest poprawnie sklasyfikowanych, a 5 błędnie sklasyfikowanych.

Ponieważ w celu porównania dwóch różnych modeli często wygodniej jest mieć jedną metrykę niż kilka, obliczamy dwie metryki z macierzy pomieszania, którą później połączymy w jedną:

• $\frac{TP}{TP+FN}$
• $\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

Na tym rysunku niebieski obszar odpowiada obszarowi pod krzywą charakterystyki roboczej odbiornika (AUROC). Linia przerywana na przekątnej przedstawiamy krzywą ROC losowego predyktora: ma AUROC 0,5. Losowy predyktor jest powszechnie używany jako punkt odniesienia, aby sprawdzić, czy model jest przydatny.

Jeśli chcesz zdobyć doświadczenie z pierwszej ręki:

• Python: http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

Odpowiedź Mortena poprawnie odnosi się do pytania w tytule - liczba jest rzeczywiście krzywą ROC. Powstaje przez wykreślenie sekwencji fałszywie dodatnich wskaźników (FPR) w stosunku do odpowiadających im prawdziwie dodatnich wskaźników.

Chciałbym jednak odpowiedzieć na pytanie, które zadajesz w treści postu.

Jeśli metoda jest zastosowana do zestawu danych, ma ona określoną szybkość FP i określoną szybkość FN. Czy to nie znaczy, że każda metoda powinna mieć jeden punkt zamiast krzywej? Oczywiście istnieje wiele sposobów konfiguracji metody, generujących wiele różnych punktów, ale nie jest dla mnie jasne, w jaki sposób jest to kontinuum stawek ani w jaki sposób jest generowane.

Wiele metod uczenia maszynowego ma regulowane parametry. Na przykład wynikiem regresji logistycznej jest przewidywane prawdopodobieństwo członkostwa w klasie. Reguła decyzyjna klasyfikująca wszystkie punkty z przewidywanymi prawdopodobieństwami powyżej pewnego progu do jednej klasy, a reszta do drugiej, może tworzyć elastyczny zakres klasyfikatorów, każdy z inną statystyką TPR i FPR. To samo można zrobić w przypadku losowego lasu, w którym bierze się pod uwagę głosy drzew, lub SVM, w którym rozważa się podpisaną odległość od hiperpłaszczyzny.

W przypadku przeprowadzania walidacji krzyżowej w celu oszacowania wydajności poza próbą, typową praktyką jest wykorzystanie wartości prognoz (głosów, prawdopodobieństw, podpisanych odległości) do wygenerowania sekwencji TPR i FPR. Zwykle wygląda to jak funkcja krokowa, ponieważ zazwyczaj jest tylko jeden punkt przechodzący z TP do FN lub FP do FN, przy każdej przewidywanej wartości (tj. Wszystkie przewidywane wartości poza próbą są unikalne). W tym przypadku, mimo że istnieje kontinuum opcji do obliczania TPR i FPR, funkcje TPR i FPR nie będą ciągłe, ponieważ istnieje tylko skończenie wiele punktów poza próbką, więc uzyskane krzywe będą wyglądały krokowo .

Z Wikipedii:

Krzywa ROC została po raz pierwszy opracowana przez inżynierów elektryków i inżynierów radarów podczas II wojny światowej w celu wykrywania obiektów wroga na polach bitew, a wkrótce została wprowadzona do psychologii, aby uwzględnić percepcyjne wykrywanie bodźców. Od tego czasu analiza ROC jest wykorzystywana w medycynie, radiologii, biometrii i innych obszarach od wielu dziesięcioleci i jest coraz częściej stosowana w uczeniu maszynowym i badaniach eksploracji danych.

ROC jest również znany jako względna krzywa charakterystyki operacyjnej, ponieważ jest to porównanie dwóch charakterystyk operacyjnych (TPR i FPR) wraz ze zmianą kryterium.

Dwie osie można traktować jako koszty, które należy ponieść, aby binarny klasyfikator działał. Najlepiej, jeśli chcesz uzyskać możliwie niski poziom fałszywie dodatnich wyników, tak wysoki, jak to możliwe. To znaczy, że chcesz, aby binarny klasyfikator wywoływał jak najmniej fałszywych alarmów dla jak największej liczby prawdziwych alarmów.

Aby konkretnie wyobrazić sobie klasyfikatora, który może wykryć obecność określonej choroby poprzez pomiar ilości jakiegoś biomarkera. Wyobraź sobie, że biomarker miał wartość z zakresu od 0 (nieobecny) do 1 (nasycony). Jaki poziom maksymalizuje wykrywanie choroby? Może się zdarzyć, że powyżej pewnego poziomu biomarker sklasyfikuje niektóre osoby jako chore, ale nie mają choroby. To są fałszywie pozytywne. Oczywiście są też tacy, którzy zostaną zaklasyfikowani jako chorzy, kiedy rzeczywiście chorują. To są prawdziwe pozytywy.

ROC ocenia odsetek prawdziwych wyników pozytywnych w stosunku do odsetka wyników fałszywie pozytywnych, biorąc pod uwagę wszystkie możliwe wartości progowe.