Co krzywe ROC mówią ci, że tradycyjne wnioskowanie nie byłoby?

Kiedy miałbyś tendencję do używania krzywych ROC w niektórych innych testach w celu określenia zdolności prognostycznej niektórych pomiarów wyniku?

Kiedy mamy do czynienia z dyskretnymi wynikami (żywy / martwy, obecny / nieobecny), co sprawia, że ​​krzywe ROC są mniej lub bardziej potężne niż coś w rodzaju chi-kwadrat?

Funkcja ROC (niekoniecznie jest to krzywa) pozwala ocenić zdolność do dyskryminacji zapewnianą przez określony model statystyczny (składający się ze zmiennej predykcyjnej lub ich zestawu).

Głównym rozważaniem ROC jest to, że prognozy modelu nie wynikają jedynie ze zdolności modelu do rozróżniania / dokonywania prognoz na podstawie dowodów dostarczonych przez zmienne predykcyjne. Działają również kryteria odpowiedzi, które określają, ile dowodów jest potrzebnych do tego, aby model przewidział odpowiedź i jaki jest wynik tych odpowiedzi. Wartość ustalona dla kryteriów odpowiedzi będzie miała duży wpływ na przewidywania modelu, a ostatecznie na rodzaj błędów, jakie popełni.

Rozważ ogólny model ze zmiennymi predykcyjnymi i kryteriami odpowiedzi. Ten model próbuje przewidzieć obecność X, odpowiadając Tak lub Nie. Masz więc następującą macierz nieporozumień:

                                **X present               X absent**
 **Model Predicts X Present**       Hit                   False Alarm

 **Model Predicts X Absent**      Miss                 Correct Rejection

W tej matrycy wystarczy wziąć pod uwagę proporcję trafień i fałszywych alarmów (ponieważ inne można wyprowadzić z nich, biorąc pod uwagę, że mają one do 1). Dla każdego kryterium odpowiedzi będziesz mieć inną macierz dezorientacji. Błędy (braków i fałszywych alarmów) są negatywnie powiązane, co oznacza, że ​​kryteria odpowiedzi, które minimalizują fałszywe alarmy, maksymalizują błędy i odwrotnie. Wiadomość jest taka: nie ma darmowego lunchu.

Tak więc, aby zrozumieć, jak dobrze model rozróżnia przypadki / dokonuje prognoz, niezależnie od ustalonych kryteriów odpowiedzi, wykreślasz liczbę trafień i fałszywych wskaźników w zakresie możliwych kryteriów odpowiedzi.

To, co otrzymujesz z tego wykresu, to funkcja ROC. Obszar pod funkcją zapewnia obiektywną i nieparametryczną miarę zdolności dyskryminacji modelu. Środek ten jest bardzo ważny, ponieważ nie zawiera żadnych nieporozumień, które mogłyby wyniknąć z kryteriów odpowiedzi.

Drugim ważnym aspektem jest to, że analizując funkcję, można określić, które kryteria reakcji są lepsze dla twoich celów. Jakie rodzaje błędów chcesz uniknąć i jakie są błędy, są OK. Rozważmy na przykład test na HIV: jest to test, który wyszukuje jakiś dowód (w tym przypadku przeciwciała) i dokonuje dyskryminacji / prognozy na podstawie porównania dowodów z kryterium odpowiedzi. To kryterium odpowiedzi jest zwykle ustawione na bardzo niskim poziomie, aby zminimalizować straty. Oczywiście spowoduje to więcej fałszywych alarmów, które mają koszt, ale koszt jest nieistotny w porównaniu z błędami.

Dzięki ROCs możesz ocenić zdolność dyskryminacji niektórych modeli, niezależnie od kryteriów reakcji, a także ustalić optymalne kryteria reakcji, biorąc pod uwagę potrzeby i ograniczenia wszystkiego, co mierzysz. Testy takie jak hi-square nie mogą w tym pomóc, ponieważ nawet jeśli testujesz, czy prognozy są na poziomie prawdopodobieństwa, wiele różnych par trafień fałszywych alarmów jest zgodnych z poziomem szansy.

Niektóre struktury, takie jak teoria wykrywania sygnału, zakładają z góry, że dowody dostępne do dyskryminacji mają specyficzny rozkład (np. Rozkład normalny lub rozkład gamma). Kiedy te założenia się utrzymują (lub są dość bliskie), dostępne są naprawdę fajne środki, które ułatwią ci życie.

mam nadzieję, że pomoże to wyjaśnić zalety ROC

Krzywa ROC jest używana, gdy predyktor jest ciągły, a wynik jest dyskretny, więc test chi-kwadrat nie miałby zastosowania. W rzeczywistości analiza ROC jest w pewnym sensie równoważna testowi Manna-Whitneya: pole pod krzywą to P (X> Y), czyli ilość testowana w teście MW. Jednak analiza Manna-Whitneya nie podkreśla wyboru punktu odcięcia, podczas gdy jest to główny punkt analizy ROC. Dodatkowo krzywe ROC są często używane jedynie jako wizualne przedstawienie zdolności predykcyjnej współzmiennej.

Najkrótsza odpowiedź jest taka, że ​​tradycyjne testy wykrywania sygnału dają tylko jeden punkt na ROC (charakterystyka pracy odbiornika), podczas gdy krzywa pozwala zobaczyć odpowiedzi w zakresie wartości. Możliwe jest, że kryteria id zmieniają się wraz ze zmianą krzywej. To jest jak różnica między testem t wygenerowanym przez wybranie dwóch klas zmiennych predykcyjnych a dwiema liniami regresji wygenerowanymi przez spojrzenie na parametryczne manipulacje każdej zmiennej predykcyjnej.

Jeśli interesują Cię dalsze referencje, obszerna lista artykułów jest dostępna na stronie internetowej KH Zou, Badanie charakterystyki literackiej odbiornika (ROC) .

Krzywe ROC są również stosowane, gdy ktoś jest zainteresowany porównaniem wydajności różnych klasyfikatorów, z szerokimi zastosowaniami w badaniach biomedycznych i bioinformatyce.

Pod wieloma względami ROC są odejściem od podstawowych narzędzi wnioskowania i szacowania modeli. Nie widzę tam dużej wartości.