Jak wykreślić krzywe ROC w klasyfikacji wieloklasowej?

66

Innymi słowy, zamiast mieć problem z dwiema klasami, mam do czynienia z 4 klasami i nadal chciałbym oceniać wydajność za pomocą AUC.

Rob Hyndman
źródło
Czy redukcja wymiarów jest opcją?
Shane
2
mamy 4 klasy,
Weka robi to doskonale, wykorzystując strategię przeciw całej klasie.

Odpowiedzi:

53

Wygląda na to, że szukasz wieloklasowej analizy ROC, która jest rodzajem optymalizacji wielozadaniowej opisanej w samouczku na ICML'04. Podobnie jak w kilku problemach wieloklasowych, na ogół chodzi o porównanie parami (jedna klasa w porównaniu do wszystkich innych klas, jedna klasa w porównaniu do innej klasy, patrz (1) lub Elementy uczenia statystycznego ) artykuł Landgrebe i Duina na ten temat, Zbliżanie wieloklasowego ROC za pomocą analizy parami , Pattern Recognition Letters 2007 28: 1747-1758. Teraz, dla celów wizualizacji, jakiś czas temu widziałem kilka dokumentów, z których większość obraca się wokół objętości pod powierzchnią ROC (VUS) lub diagramem pajęczyny .

Nie wiem jednak, czy istnieje implementacja R tych metod, chociaż myślę, że stars()funkcja ta może być użyta do kreślenia pajęczyny. Właśnie natknąłem się na zestaw narzędzi Matlab, który wydaje się oferować wieloklasową analizę ROC, PRSD Studio .

Inne artykuły, które mogą być również przydatne jako pierwszy początek wizualizacji / obliczeń:

Odniesienia:
1. Allwein, EL, Schapire, RE i Singer, Y. (2000). Zmniejszenie wieloklasowej do binarnej: ujednolicające podejście do klasyfikatorów marż. Journal of Machine Learning Research , 1 : 113–141.

chl
źródło
7

Niedawno znalazłem ten pakiet pROC w R, który wykreśla wieloklasowy ROC przy użyciu techniki określonej przez Hand and Till (2001) . Możesz użyć funkcji multiclass.roc.

garak
źródło
6

Odpowiedzi tutaj są dość kompletne, ale nadal chciałbym dodać moje 5 centów. W tym pytaniu możesz znaleźć przykład kodu R do tworzenia krzywych ROC za pomocą metody One-Vs-All i biblioteki ROCR R.

Oto fabuła tej odpowiedzi:

Krzywa ROC

Aleksiej Grigoriew
źródło
5

Chociaż matematyka jest poza mną, ten ogólny artykuł poglądowy zawiera odniesienia, które prawdopodobnie Cię zainteresują, oraz krótki opis wykresów ROC dla wielu klas.

Wprowadzenie do analizy ROC autorstwa Toma Fawcetta Pattern Recognition Letters Volume 27, Issue 8, June 2006, Pages 861-874

Link do pliku PDF udostępniony przez gd047 - dzięki

Andy W.
źródło
2
Powiedziałbym to samo, podając kolejny link google.gr/…
George Dontas
1
A oto kolejny, bezpośrednio związany z problemem wielu klas: Wieloklasowa analiza ROC z perspektywy optymalizacji wielu celów, Pattern Recognition Letters 2006 27 (8): 918-927 ( j.mp/9AMgzq ).
chl
1
Dzięki za inne linki, najwyraźniej cały numer jest popularny, a jego archiwum dotyczące science direct można znaleźć tutaj sciencedirect.com/...
Andy W