Mam dane z 2 klasami, na których przeprowadzam klasyfikację przy użyciu wielu klasyfikatorów. A zestawy danych są dobrze wyważone. Oceniając skuteczność klasyfikatorów, muszę wziąć pod uwagę, jak dokładny jest klasyfikator w określaniu nie tylko prawdziwych pozytywów, ale także prawdziwych negatywów. Dlatego jeśli użyję dokładności, a jeśli klasyfikator jest stronniczy w stosunku do pozytywów i sklasyfikuje wszystko jako pozytywne, uzyskam około 50% dokładności, nawet jeśli nie udało się sklasyfikować żadnych prawdziwych negatywów. Ta właściwość jest rozszerzona na precyzję i przywołanie, ponieważ koncentrują się tylko na jednej klasie, a z kolei na wynik F1. (To rozumiem nawet z tego artykułu, na przykład „ Beyond Accuracy, F-score i ROC: rodzina dyskryminujących środków oceny wydajności ”).
Dlatego mogę użyć czułości i swoistości (TPR i TNR), aby zobaczyć, jak klasyfikator działał dla każdej klasy, gdzie staram się zmaksymalizować te wartości.
Moje pytanie brzmi : szukam miary, która łączy obie te wartości w jedną znaczącą miarę . Przyjrzałem się środkom przedstawionym w tym artykule, ale uznałem, że nie jest to banalne. W oparciu o moje zrozumienie zastanawiałem się, dlaczego nie możemy zastosować czegoś takiego jak F-score, ale zamiast używać precyzji i przypominania, użyłbym czułości i swoistości? Formuła będzie więc następująca: a moim celem będzie maksymalizacja ten środek. Uważam to za bardzo reprezentatywne. Czy istnieje już podobna formuła? I czy miałoby to sens, czy może nawet brzmi matematycznie?
Dokładność klasyfikacji, czułość, specyficzność i każda ich prosta kombinacja są niewłaściwymi regułami punktacji. Oznacza to, że są one zoptymalizowane przez fałszywy model. Korzystanie z nich sprawi, że wybierzesz niewłaściwe funkcje, podasz niewłaściwe wagi i podejmiesz nieoptymalne decyzje. Jednym z wielu sposobów, w których decyzje są nieoptymalne, jest fałszywe zaufanie, które uzyskuje się, gdy przewidywane prawdopodobieństwa są bliskie progu wynikającego z zastosowania tych miar. Krótko mówiąc, wszystko, co może pójść nie tak, idzie źle z tymi środkami. Wykorzystanie ich do porównania nawet dwóch dobrze dopasowanych modeli wprowadzi cię w błąd.
źródło