Podczas przeprowadzania 5-krotnej walidacji krzyżowej (na przykład) typowe jest obliczanie osobnej krzywej ROC dla każdej z 5 krotności i często pomnożenie średniej krzywej ROC ze std. dev. pokazane jako grubość krzywej.
Jednak w przypadku walidacji krzyżowej LOO, w której w każdym folderze jest tylko jeden testowy punkt danych, obliczenie „krzywej” ROC dla tego pojedynczego punktu danych nie wydaje się sensowne.
Biorę wszystkie moje punkty danych testowych (wraz z ich osobno obliczonymi wartościami p) i łączę je w jeden duży zestaw, aby obliczyć pojedynczą krzywą ROC, ale czy jest to statystycznie koszerna rzecz do zrobienia?
Jaki jest właściwy sposób zastosowania analizy ROC, gdy liczba punktów danych w każdej zakładce wynosi jeden (jak w przypadku weryfikacji krzyżowej LOO)?
źródło
Odpowiedzi:
Jeśli klasyfikator wyprowadza prawdopodobieństwo, właściwe jest połączenie wszystkich wyników w punkcie testowym dla pojedynczej krzywej ROC. Jeśli nie, to skaluj dane wyjściowe klasyfikatora w sposób, który uczyniłby go bezpośrednio porównywalnym między klasyfikatorami. Załóżmy na przykład, że używasz liniowej analizy dyskryminacyjnej. Wytrenuj klasyfikator, a następnie przeprowadź dane treningowe przez klasyfikator. Naucz się dwóch wag: parametru skali (odchylenie standardowe wyjść klasyfikatora po odjęciu średnich klas) i parametru przesunięcia (średnia z pierwszej klasy). Użyj tych parametrów, aby znormalizować wyjściową wartość wyjściową każdego klasyfikatora LDA za pomocąσ μ r n=(r−μ)/σ , a następnie możesz utworzyć krzywą ROC z zestawu znormalizowanych danych wyjściowych. Ma to zastrzeżenie, że szacujesz więcej parametrów, a zatem wyniki mogą się nieco różnić niż w przypadku zbudowania krzywej ROC na podstawie oddzielnego zestawu testów.
Jeśli nie jest możliwe znormalizowanie wyników klasyfikatora lub przekształcenie ich w prawdopodobieństwa, wówczas analiza ROC oparta na LOO-CV nie jest właściwa.
źródło