Właściwa reguła punktacji jest regułą, która jest maksymalizowana przez „prawdziwy” model i nie pozwala na „zabezpieczanie” lub granie w system (celowe zgłaszanie różnych wyników, jak to jest prawdziwe przekonanie modelu o poprawie wyniku). Wynik Briera jest prawidłowy, dokładność (proporcja sklasyfikowana poprawnie) jest niewłaściwa i często zniechęcana. Czasami widzę, że AUC nazywa się półprawidłową regułą punktacji, co sprawia, że nie jest ona całkowicie nieprawdziwa jako dokładność, ale mniej wrażliwa niż właściwe reguły (na przykład tutaj /stats//a/90705/53084 ).
Co oznacza półprawidłowa reguła punktacji? Czy jest gdzieś zdefiniowane?
Odpowiedzi:
Zacznijmy od przykładu. Powiedzmy, że Alice jest trenerem toru i chce wybrać sportowca, który będzie reprezentował drużynę w nadchodzącym wydarzeniu sportowym, sprincie na 200 metrów. Naturalnie chce wybrać najszybszego biegacza.
Chociaż nieco trywializowany, powyższy przykład pokazuje, co dzieje się przy użyciu reguł punktacji. Alice przewidywała przewidywany czas sprintu. W kontekście klasyfikacji prognozujemy prawdopodobieństwa minimalizujące błąd klasyfikatora probabilistycznego.
Jak widzimy, półprawidłowa zasada punktacji nie jest idealna, ale nie jest wręcz katastrofalna. To może być bardzo przydatne podczas prognozowania! Cagdas Ozgenc ma tutaj świetny przykład , w którym praca z niewłaściwą / półprawidłową regułą jest lepsza niż ściśle ścisła reguła. Zasadniczo termin półprawidłowa zasada punktacji nie jest zbyt powszechna. Jest to związane z niewłaściwymi zasadami, które mogą być jednak pomocne (np. AUC-ROC lub MAE w klasyfikacji probabilistycznej).
Wreszcie zauważ coś ważnego. Ponieważ sprint wiąże się z silnymi nogami, poprawna jest klasyfikacja probabilistyczna z dokładnością. Jest mało prawdopodobne, aby dobry sprinter miał słabe nogi i podobnie jest mało prawdopodobne, aby dobry klasyfikator miał złą dokładność. Niemniej jednak zrównanie dokładności z dobrą wydajnością klasyfikatora jest jak zrównanie siły nogi z dobrą wydajnością sprintu. Nie do końca bezzasadne, ale bardzo prawdopodobne, że doprowadzą do bezsensownych rezultatów.
źródło