Dlaczego wycofywanie nie bierze pod uwagę prawdziwych negatywów?

10

Dlaczego wycofywanie nie bierze pod uwagę prawdziwych negatywów? Czy w eksperymentach, w których prawdziwe negatywy są tak samo ważne jak prawdziwe pozytywy, czy ich porównywalna metryka bierze to pod uwagę?

Raffi Khatchadourian
źródło
2
Myślę, że True Negative Rate (zwany także specyficznością w innych ustawieniach) jest tym, czego szukasz, ale patrz en.wikipedia.org/wiki/Precision_and_recall .
chl

Odpowiedzi:

7

Przypomnienie (w połączeniu z precyzją) jest ogólnie stosowane w obszarach, w których przede wszystkim interesuje się znalezieniem pozytywów. Przykładem takiego obszaru jest np. Performance Marketing lub (jak już sugeruje link ch'ls) obszar wyszukiwania informacji.

Więc:

Jeśli interesuje Cię przede wszystkim znajdowanie negatywów, najlepszym rozwiązaniem jest „True Negative Rate” (jak już sugeruje chl). Ale nie zapomnij spojrzeć na „precyzję skupienia się na negatywach” -metryczną (tj. , ponieważ w przeciwnym razie „True Negative Rate” można zoptymalizować poprzez ustawienie prognozy na „Negative” dla wszystkich punktów danych).T.N.T.N.+faN.

Jeśli jesteś zainteresowany optymalizacją przywołania zarówno dla negatywów, jak i pozytywów, powinieneś spojrzeć na „Dokładność” (zobacz ponownie link chl). Ale uważaj na pochylenie klasy (tzn. Masz o wiele więcej pozytywów niż negatywów lub odwrotnie ... w tym przypadku można „zoptymalizować” dokładność, ustawiając prognozę na główną klasę dla wszystkich punktów danych).

steffen
źródło
Dziękuję za odpowiedź na moje pytanie. Rzeczywiście jestem zainteresowany optymalizacją zarówno pod kątem negatywów, jak i pozytywów. W tym przypadku wydaje się, że dokładność jest właściwą drogą, ponieważ uwzględnia tp, fp, tn i fn. Jednak, jak wspomniałeś powyżej, muszę zdawać sobie sprawę z przekrzywienia klasy. Czy zatem powinienem przedstawić dokładność obok innej miary, aby temu przeciwdziałać? Dzięki jeszcze raz!
Raffi Khatchadourian
@Raffi: Możesz dodać proporcje poprawnie sklasyfikowanych przykładów mniejszej klasy (tj. Odpowiednio precyzja lub prawdziwa ujemna stopa). Myślę jednak, że powinno wystarczyć, abyś podał swoją świadomość tego problemu i sprawdził, czy model nie tylko przewiduje główną klasę. Ale to tylko moja opinia.
steffen
Dzięki! Myślę, że wybiorę tę drogę, tj. Obecna słuszna dokładność i że model nie przewiduje tylko głównej klasy.
Raffi Khatchadourian