Przeszukano wysokie i niskie i nie byłem w stanie dowiedzieć się, co AUC, podobnie jak w przypadku prognozowania, oznacza lub oznacza.
228
Przeszukano wysokie i niskie i nie byłem w stanie dowiedzieć się, co AUC, podobnie jak w przypadku prognozowania, oznacza lub oznacza.
auc
użytego tagu: stats.stackexchange.com/questions/tagged/aucOdpowiedzi:
Skróty
AUC jest używane przez większość czasu w znaczeniu AUROC, co jest złą praktyką, ponieważ, jak zauważył Marc Claesen, AUC jest niejednoznaczne (może być dowolną krzywą), podczas gdy AUROC nie.
Interpretacja AUROC
AUROC ma kilka równoważnych interpretacji :
Idąc dalej: jak wyprowadzić probabilistyczną interpretację AUROC?
Obliczanie AUROC
Załóżmy, że mamy probabilistyczny, binarny klasyfikator, taki jak regresja logistyczna.
Przed przedstawieniem krzywej ROC (= charakterystyka pracy odbiornika) należy zrozumieć pojęcie macierzy zamieszania . Gdy wykonujemy binarną prognozę, mogą istnieć 4 typy wyników:
Aby uzyskać macierz nieporozumień, przeglądamy wszystkie przewidywania wykonane przez model i liczymy, ile razy występuje każdy z tych 4 typów wyników:
W tym przykładzie macierzy pomieszania, spośród 50 punktów danych, które są sklasyfikowane, 45 jest poprawnie sklasyfikowanych, a 5 błędnie sklasyfikowanych.
Ponieważ w celu porównania dwóch różnych modeli często wygodniej jest mieć jedną metrykę niż kilka, obliczamy dwie metryki z macierzy pomieszania, którą później połączymy w jedną:
Poniższy rysunek pokazuje AUROC graficznie:
Na tym rysunku niebieski obszar odpowiada obszarowi pod krzywą charakterystyki roboczej odbiornika (AUROC). Linia przerywana na przekątnej przedstawiamy krzywą ROC losowego predyktora: ma AUROC 0,5. Losowy predyktor jest powszechnie używany jako punkt odniesienia, aby sprawdzić, czy model jest przydatny.
Jeśli chcesz zdobyć doświadczenie z pierwszej ręki:
źródło
Chociaż jestem trochę spóźniony na imprezę, ale oto moje 5 centów. @FranckDernoncourt (+1) wspomniał już o możliwych interpretacjach AUC ROC, a moja ulubiona jest pierwsza na jego liście (używam innego sformułowania, ale jest taka sama):
Rozważ ten przykład (auc = 0,68):
Spróbujmy to zasymulować: narysuj losowe przykłady pozytywne i negatywne, a następnie oblicz odsetek przypadków, w których wyniki dodatnie mają więcej punktów niż negatywne
I otrzymujemy 0,67926. Całkiem blisko, prawda?
Nawiasem mówiąc, w RI zwykle używaj pakietu ROCR do rysowania krzywych ROC i obliczania AUC.
źródło
Ważne rozważania nie są uwzględnione w żadnej z tych dyskusji. Procedury omówione powyżej zachęcają do niewłaściwego progowania i wykorzystują niewłaściwe reguły punktacji dokładności (proporcje), które są optymalizowane przez wybranie niewłaściwych cech i nadanie im niewłaściwych wag.
Dychotomizacja ciągłych prognoz stoi w obliczu optymalnej teorii decyzji. Krzywe ROC nie dostarczają żadnych przydatnych informacji. Stały się obowiązkowe bez badania przez badaczy korzyści. Mają bardzo duży stosunek atramentu do informacji.
Optymalne decyzje nie uwzględniają „pozytywów” i „negatywów”, ale raczej szacunkowe prawdopodobieństwo wyniku. Funkcja użyteczności / kosztu / straty, która nie odgrywa żadnej roli w konstrukcji ROC, a zatem bezużyteczność ROC, służy do przełożenia oszacowania ryzyka na optymalną (np. Najniższą oczekiwaną stratę) decyzję.
Celem modelu statystycznego jest często dokonanie prognozy, a analityk powinien często na tym poprzestać, ponieważ może nie znać funkcji straty. Kluczowymi składnikami prognozy do bezstronnego sprawdzania poprawności (np. Za pomocą bootstrap) są dyskryminacja predykcyjna (jednym z pół-dobrych sposobów pomiaru jest prawdopodobieństwo zgodności, które zdarza się równać obszar pod ROC, ale może być łatwiejsze do zrozumienia, jeśli nie „t zwrócić ROC) i krzywą kalibracji. Sprawdzanie poprawności kalibracji jest naprawdę bardzo potrzebne, jeśli używasz prognoz w skali bezwzględnej.
Więcej informacji można znaleźć w rozdziale poświęconym utracie informacji w biostatystyce badań biomedycznych i innych rozdziałach.
źródło
AUC to skrót oznaczający pole powierzchni pod krzywą . Służy do analizy klasyfikacji w celu ustalenia, który z zastosowanych modeli najlepiej przewiduje klasy.
Przykładem jego zastosowania są krzywe ROC. W tym przypadku wykresy prawdziwie dodatnie są zestawiane z wynikami fałszywie dodatnimi. Przykład jest poniżej. Im bliższa wartość AUC dla modelu wynosi 1, tym lepiej. Dlatego modele o wyższych AUC są preferowane w porównaniu z modelami o niższych AUC.
Uwaga: istnieją również inne metody niż krzywe ROC, ale są one również powiązane z wartościami dodatnimi i fałszywie dodatnimi, np. Przywołanie precyzji, wynik F1 lub krzywe Lorenza.
źródło
Otrzymujemy:
Podstawiając to do równania (1) otrzymujemy:
Innymi słowy, pole pod krzywą to prawdopodobieństwo, że losowa próbka dodatnia będzie miała wyższy wynik niż losowa próbka ujemna.
źródło