TL; DR
Dokładność jest niewłaściwą zasadą punktacji. Nie używaj tego.
Nieco dłuższa wersja
W rzeczywistości dokładność nie jest nawet regułą punktacji. Pytanie o to, czy jest (ściśle) właściwe, jest błędem kategorii. Możemy jedynie powiedzieć, że przy dodatkowych założeniach dokładność jest zgodna z zasadą punktacji, która jest niewłaściwa, nieciągła i myląca. (Nie używaj tego.)
Twoje zamieszanie
Twoje zamieszanie wynika z faktu, że utrata błędnej klasyfikacji według cytowanego artykułu nie jest również regułą punktacji.
Szczegóły: reguły punktacji a oceny klasyfikacji
Naprawmy terminologię. Interesuje nas wynik binarny i mamy przewidywanie probabilistyczne . Wiemy, że , ale nasz model może o tym wiedzieć lub nie.y∈{0,1}qˆ=Pˆ(Y=1)∈(0,1)P(Y=1)=η>0.5qˆ
Zasada punktacji jest odwzorowaniem, które wykonuje probabilistyczny przewidywania i wynikiem do stratqˆy
s:(qˆ,y)↦s(qˆ,y).
s jest poprawny, jeśli jest zoptymalizowany w oczekiwaniu przez . („Zoptymalizowane” zwykle oznacza „zminimalizowane”, ale niektórzy autorzy odwracają znaki i próbują zmaksymalizować regułę punktacji.) jest ściśle poprawne, jeśli jest zoptymalizowane w oczekiwaniu tylko przez .qˆ=ηsqˆ=η
Będziemy zazwyczaj oceniają na wielu przepowiedni i odpowiadające im wyniki a średnia oszacować te oczekiwania.sqˆiyi
Czym jest dokładność ? Dokładność nie bierze pod uwagę probabilistycznej prognozy jako argumentu. Wymaga klasyfikacjiyˆ∈{0,1} i wynik:
a:(yˆ,y)↦a(yˆ,y)={1,0,yˆ=yyˆ≠y.
Dlatego dokładność nie jest regułą punktacji . Jest to ocena klasyfikacyjna. (To termin, który właśnie wymyśliłem; nie szukaj go w literaturze).
Teraz oczywiście możemy przyjąć prognozę probabilistyczną, taką jak nasza i przekształcić ją w klasyfikację . Aby to zrobić, będziemy potrzebować dodatkowych założeń, o których mowa powyżej. Na przykład bardzo często używa się progu i klasyfikuje:qˆyˆθ
yˆ(qˆ,θ):={1,0,qˆ≥θqˆ<θ.
Bardzo częstą wartością progową jest . Należy zauważyć, że jeśli zastosujemy ten próg, a następnie ocenimy dokładność wielu prognoz (jak wyżej) i odpowiadających im wyników , wówczas dochodzimy dokładnie do utraty błędnej klasyfikacji zgodnie z Buja i in. Zatem utrata błędnej klasyfikacji nie jest również regułą punktacji, ale oceną klasyfikacji.θ=0.5qˆiyi
Jeśli weźmiemy algorytm klasyfikacji podobny do powyższego, możemy przekształcić ocenę klasyfikacji w regułę punktacji. Chodzi o to, że potrzebujemy dodatkowych założeń klasyfikatora. I ta dokładność lub utrata błędnej klasyfikacji lub jakakolwiek inna ocena klasyfikacji, którą wybieramy, może wtedy mniej zależeć od prognozy probabilistycznej a bardziej od sposobu, w jaki przekształcamy w klasyfikację . Tak więc optymalizacja oceny klasyfikacji może ścigać czerwonego śledzia, jeśli naprawdę jesteśmy zainteresowani oceną .qˆqˆyˆ=yˆ(qˆ,θ)qˆ
Co jest zatem niewłaściwe w tych założeniach dotyczących zasad punktacji poniżej dodatkowych? Nic w niniejszej sprawie. , pod domyślnym , zmaksymalizuje dokładność i zminimalizuje utratę błędnej klasyfikacji w stosunku do wszystkich możliwych . Tak więc w tym przypadku nasze założenia dotyczące reguły punktacji poniżej dodatkowych są właściwe.qˆ=ηθ=0.5qˆ∈(0,1)
Zauważ, że ważne dla utraty dokładności lub błędnej klasyfikacji jest tylko jedno pytanie: czy klasyfikujemy ( ) wszystko jako klasę większości, czy nie? yˆJeśli to zrobimy, utrata dokładności lub błędna klasyfikacja są satysfakcjonujące. Jeśli nie, nie są. Ważne w tym pytaniu jest to, że ma ono bardzo wątły związek z jakością .qˆ
W związku z tym nasze założenia dotyczące reguł punktowania pod dodatkowymi nie są ściśle właściwe, ponieważ każde doprowadzi do tej samej oceny klasyfikacji. Możemy użyć standardowego , wierzyć, że klasa większości występuje z i sklasyfikować wszystko jako klasę większości, ponieważ . Dokładność jest wysoka, ale nie mamy motywacji, aby poprawić naszą do prawidłowej wartości .qˆ≥θθ=0.5qˆ=0.99qˆ≥θqˆη
Lub moglibyśmy przeprowadzić obszerną analizę asymetrycznych kosztów błędnej klasyfikacji i zdecydować, że najlepszy próg prawdopodobieństwa klasyfikacji powinien faktycznie wynosić . Może się to na przykład zdarzyć, jeśli oznacza, że cierpisz na jakąś chorobę. Lepiej leczyć cię, nawet jeśli nie cierpisz na chorobę ( ), a nie na odwrót, więc leczenie ludzi może mieć sens, nawet jeśli istnieje małe przewidywane prawdopodobieństwo (małe ) cierpią z tego powodu. Możemy wtedy mieć strasznie zły model, który uważa, że prawdziwa klasa większości występuje tylko zθ=0.2y=1y=0qˆqˆ=0.25- ale ze względu na koszty błędnej klasyfikacji wszystko nadal klasyfikujemy jako tę (zakładaną) klasę mniejszości, ponieważ znowu . Gdybyśmy to zrobili, utrata dokładności lub błędnej klasyfikacji sprawiłaby, że uwierzyliśmy, że robimy wszystko dobrze, nawet jeśli nasz model predykcyjny nie pozwala nawet ustalić, która z naszych dwóch klas jest klasą większościową.qˆ≥θ
Dlatego utrata dokładności lub błędnej klasyfikacji może wprowadzać w błąd.
Ponadto dokładność i utrata błędnej klasyfikacji są niewłaściwe przy dodatkowych założeniach w bardziej złożonych sytuacjach, w których wyniki nie są istotne. Frank Harrell w swoim blogu „ Uszkodzenie spowodowane dokładnością klasyfikacji i innymi nieciągłymi zasadami niewłaściwej dokładności” przytacza przykład z jednej ze swoich książek, w których stosowanie dokładności lub utrata błędnej klasyfikacji doprowadzi do błędnie określonego modelu, ponieważ nie są one zoptymalizowane przez prawidłowe przewidywanie warunkowe prawdopodobieństwo.
Innym problemem związanym z utratą dokładności i błędnej klasyfikacji jest to, że są one nieciągłe w zależności od wartości progowej . Frank Harrell też się tym zajmuje.θ
Więcej informacji można znaleźć na stronie Dlaczego dokładność nie jest najlepszym miernikiem do oceny modeli klasyfikacji? .
Dolna linia
Nie używaj dokładności. Ani strata z powodu błędnej klasyfikacji.
Nitpick: „ścisły” vs. „ściśle”
Czy powinniśmy mówić o „ścisłych” właściwych zasadach punktacji, czy o „ściśle” właściwych regułach punktacji? „Surowy” modyfikuje „właściwy”, a nie „regułę punktacji”. (Istnieją „właściwe reguły punktacji” i „ściśle właściwe reguły punktacji”, ale nie ma „ścisłych zasad punktacji”.) Jako takie, „ściśle” powinno być przysłówkiem, a nie przymiotnikiem, i „ściśle” powinno być stosowane. Jak to jest bardziej powszechne w literaturze, np. W pracach Tilmanna Gneitinga.