Zalety krzywych ROC

Jakie są zalety krzywych ROC?

Na przykład klasyfikuję niektóre obrazy, co jest problemem klasyfikacji binarnej. Wyodrębniłem około 500 obiektów i zastosowałem algorytm wyboru cech, aby wybrać zestaw cech, a następnie zastosowałem SVM do klasyfikacji. W takim przypadku jak mogę uzyskać krzywą ROC? Czy powinienem zmienić wartości progowe mojego algorytmu wyboru cech i uzyskać czułość i swoistość danych wyjściowych, aby narysować krzywą ROC?

W moim przypadku jaki jest cel tworzenia krzywej ROC?

Wiele binarnych algorytmów klasyfikacji oblicza rodzaj wyniku klasyfikacji (czasami, ale nie zawsze jest to prawdopodobieństwo, że jest w stanie docelowym) i klasyfikują się na podstawie tego, czy wynik jest powyżej określonego progu. Wyświetlanie krzywej ROC pozwala zobaczyć kompromis między czułością i swoistością dla wszystkich możliwych progów, a nie tylko tym, który został wybrany techniką modelowania. Różne cele klasyfikacji mogą sprawić, że jeden punkt na krzywej będzie bardziej odpowiedni dla jednego zadania, a drugi bardziej odpowiedni dla innego zadania, więc spojrzenie na krzywą ROC jest sposobem oceny modelu niezależnie od wyboru progu.

Krzywe ROC nie są pouczające w 99% przypadków, które widziałem w ciągu ostatnich kilku lat. Wydaje się, że są one uważane za obowiązkowe przez wielu statystyk i jeszcze więcej praktyków uczenia maszynowego. I upewnij się, że twój problem jest naprawdę problemem klasyfikacji, a nie problemem oceny ryzyka. U podstaw problemów z krzywymi ROC jest to, że zapraszają użytkowników do używania punktów odcięcia dla zmiennych ciągłych i używają prawdopodobieństw wstecz, tj. Prawdopodobieństw zdarzeń, które są w odwrotnej kolejności czasowej (czułość i swoistość). Krzywe ROC nie mogą być użyte do znalezienia optymalnych kompromisów, z wyjątkiem bardzo szczególnych przypadków, w których użytkownicy reguły decyzyjnej rezygnują z funkcji utraty (kosztu; użyteczności) analitykowi.

Po utworzeniu krzywej ROC można obliczyć AUC (pole pod krzywą). AUC to dokładność testu dla wielu progów. AUC = 1 oznacza, że ​​test jest idealny. AUC = 0,5 oznacza przypadkowe wykonanie klasyfikacji binarnej.

Jeśli istnieje wiele modeli, AUC zapewnia pojedynczy pomiar do porównania w różnych modelach. Zawsze występują kompromisy z każdym pojedynczym miernikiem, ale AUC jest dobrym miejscem do rozpoczęcia.

AUC nie porównuje klas rzeczywistych z przewidywanymi. Nie patrzy na przewidywaną klasę, ale na wynik prognozy lub prawdopodobieństwo. Możesz dokonać prognozy klasy, stosując wartość odcięcia dla tego wyniku, powiedzmy, każda próbka, która uzyskała wynik poniżej 0,5, jest klasyfikowana jako negatywna. Ale ROC pojawia się wcześniej. Działa z wynikami / prawdopodobieństwami klasowymi.

Pobiera te wyniki i sortuje wszystkie próbki według tego wyniku. Teraz, gdy znajdziesz pozytywną próbkę, krzywa ROC robi krok w górę (wzdłuż osi y). Za każdym razem, gdy znajdziesz próbkę ujemną, przesuwasz się w prawo (wzdłuż osi x). Jeśli ten wynik jest inny dla dwóch klas, próbki pozytywne są pierwsze (zwykle). Oznacza to, że wykonujesz więcej kroków w górę niż w prawo. W dalszej części listy pojawią się próbki negatywne, więc przesuń się w lewo. Gdy przejrzysz całą listę próbek, osiągniesz współrzędną (1,1), która odpowiada 100% próbek dodatnich i 100% próbek ujemnych.

Jeśli wynik idealnie oddzieli wynik pozytywny od próbek ujemnych, przejdziesz od (x = 0, y = 0) do (1,0), a następnie stamtąd do (1, 1). Obszar pod krzywą wynosi 1.

Jeśli twój wynik ma taki sam rozkład dla próbek dodatnich i ujemnych, prawdopodobieństwo znalezienia próbki dodatniej lub ujemnej na posortowanej liście jest równe, a zatem prawdopodobieństwo przejścia w górę lub w lewo na krzywej ROC jest równe. Dlatego poruszasz się po przekątnej, ponieważ zasadniczo poruszasz się w górę i w lewo, w górę i w lewo, i tak dalej ... co daje wartość AROC około 0,5.

W przypadku niezrównoważonego zestawu danych wielkość kroku jest inna. Robisz więc mniejsze kroki w lewo (jeśli masz więcej próbek ujemnych). Dlatego wynik jest mniej więcej niezależny od nierównowagi.

Dzięki krzywej ROC możesz wizualizować sposób rozdzielania próbek, a obszar pod krzywą może być bardzo dobrym miernikiem do pomiaru wydajności algorytmu klasyfikacji binarnej lub dowolnej zmiennej, której można użyć do oddzielenia klas.

Rysunek pokazuje te same rozkłady dla różnych wielkości próbek. Czarny obszar pokazuje, gdzie można oczekiwać krzywych ROC losowych mieszanin próbek dodatnich i ujemnych.