Czy możemy interpretować późniejsze prawdopodobieństwo uzyskane z klasyfikatora, który generuje przewidywaną wartość klasy i prawdopodobieństwo (na przykład regresję logistyczną lub Naive Bayesa) jako pewnego rodzaju wynik ufności przypisany do tej przewidywanej wartości klasy?
Jak inne odpowiedzi poprawnie stwierdzają, zgłaszane prawdopodobieństwa z modeli takich jak regresja logistyczna i naiwne Bayesa są szacunkami prawdopodobieństwa klasy. Gdyby model był prawdziwy, prawdopodobieństwo rzeczywiście oznaczałoby prawdopodobieństwo poprawnej klasyfikacji.
Jednak ważne jest, aby zrozumieć, że może to być mylące, ponieważ model jest szacowany, a zatem nie jest poprawny. Istnieją co najmniej trzy problemy.
Niepewność jest po prostu wszędzie obecny fakt, że prawdopodobieństwo to tylko szacunkowe. Przedział ufności szacowanego prawdopodobieństwa klasowego może dać pewne pojęcie o niepewności (prawdopodobieństwa klasowego, a nie klasyfikacji).
Jeśli procedura estymacji (celowo) zapewnia oszacowanie stronnicze , prawdopodobieństwa klasowe są błędne. Jest to coś, co widzę w metodach regularyzacji, takich jak lasso i grzbiet regresji logistycznej. Chociaż potwierdzony krzyżowo wybór regularyzacji prowadzi do modelu o dobrej wydajności pod względem klasyfikacji, wynikające z tego prawdopodobieństwa klasowe są wyraźnie niedoszacowane (zbyt blisko 0,5) w przypadkach testowych. Niekoniecznie jest to złe, ale należy o tym pamiętać.
W przypadku testowym (dane wejściowe) jego przewidywana prawdopodobieństwo (np. Etykieta 1 dla wyjścia binarnego) to szansa, że przykładowy test należy do tej klasy. W wielu takich przypadkach testowych proporcja należąca do klasy 1 będzie miała tendencję do przewidywania prawdopodobieństwa. Zaufanie ma konotacje przedziałów ufności, które są czymś zupełnie innym.
Jeśli klasyfikator przewiduje pewną klasę z prawdopodobieństwem, liczbę tę można wykorzystać jako przybliżenie stopnia ufności w tej klasyfikacji. Nie mylić z przedziałami ufności. Na przykład, jeśli klasyfikator P przewiduje dwa przypadki jako +1 i -1 z prawdopodobieństwem 80% i 60%, słusznie jest powiedzieć, że jest bardziej pewny klasyfikacji +1 niż klasyfikacji -1. Wariancja mierzona p (1-p) jest również dobrą miarą niepewności. Zauważ, że podstawowe zaufanie wynosi 50%, a nie 0.
Biorąc pod uwagę klasyfikator z 2 klasami (np. 2 klasowy liniowy dyskryminator lub klasyfikator regresji logistycznej) wartość dyskryminacyjną dla obu klas można zastosować do funkcji softmax, aby uzyskać oszacowanie prawdopodobieństwa a posteriori dla tej klasy:
P1 = exp (d1) / (exp (d1) + exp (d2))
Gdzie P1 jest oszacowaniem prawdopodobieństwa a posteriori dla klasy 1, d1 i d2 są wartościami dyskryminującymi odpowiednio dla klas 1 i 2. W tym przypadku oszacowane prawdopodobieństwo tylne dla danej klasy można przyjąć jako stopień pewności w klasie, dla danego przypadku, ponieważ P1 będzie wynosić 1 - P2.