Jak wybrać dobry punkt pracy z dokładnych krzywych przywołania?

11

Czy istnieje jakaś standardowa metoda określania „optymalnego” punktu pracy na krzywej dokładnego przywołania ? (tj. określenie punktu na krzywej, który zapewnia dobry kompromis między precyzją a przywołaniem)

Dzięki

Amelio Vazquez-Reina
źródło

Odpowiedzi:

12

Definicja „optymalnej” będzie oczywiście zależeć od konkretnych celów, ale oto kilka stosunkowo „standardowych” metod:

  • Punkt równego poziomu błędu (EER): punkt, w którym precyzja jest równa przywołaniu. Dla niektórych jest to „naturalny” punkt operacyjny.

  • Udoskonalona i bardziej oparta na zasadach wersja powyższego ma na celu określenie kosztu różnego rodzaju błędów i optymalizację tego kosztu. Powiedz, że błędna klasyfikacja przedmiotu (błąd w precyzji) jest dwa razy droższa niż całkowite pominięcie przedmiotu (błąd przy odwołaniu). Zatem najlepszym punktem operacyjnym jest to, gdzie (1 - przywołanie) = 2 * (1 - precyzja).

  • W niektórych problemach ludzie mają naturalną minimalną akceptowalną szybkość albo precyzji, albo wycofania. Powiedz, że wiesz, że jeśli ponad 20% pobranych danych jest niepoprawnych, użytkownicy przestaną korzystać z Twojej aplikacji. Następnie naturalne jest ustawienie precyzji na 80% (lub nieco niżej) i zaakceptowanie wycofania, jakie masz w tym momencie.

Sheldon Cooper
źródło
2

Kontynuacja drugiego i trzeciego punktu SheldonCooper: Idealnym wyborem jest, aby ktoś inny dokonał wyboru, albo w formie progu (punkt 3), albo kompromisu kosztów i korzyści (punkt 2). Być może najlepszym sposobem na zaoferowanie im wyboru jest krzywa ROC .

sprzężonyprior
źródło
1

Nie jestem pewien, jak to jest „standardowe”, ale jednym ze sposobów byłoby wybranie punktu najbliższego (1, 1) - tj. 100% przywołania i 100% precyzji. To byłaby optymalna równowaga między tymi dwoma środkami. Zakłada się, że nie cenisz precyzji w stosunku do wycofania lub odwrotnie.

Hadley jest moim bohaterem
źródło