Uśrednianie precyzji i przywoływanie podczas korzystania z weryfikacji krzyżowej

11

Przeprowadziłem klasyfikację przy użyciu wielu klasyfikatorów dla danych oznaczonych 2 klasami i użyłem 5-krotnej walidacji krzyżowej. Dla każdej zakładki obliczyłem tp, tn, fp i fn. Następnie obliczyłem dokładność, precyzję, wycofanie i wynik F dla każdego testu. Moje pytanie brzmi: kiedy chcę uśrednić wyniki, wziąłem średnią dokładności, ale czy mogę również uśrednić precyzję, przypomnienie i wynik F? Czy byłoby to matematycznie niepoprawne? PS Zestawy danych używane w każdym folderze są dobrze zrównoważone pod względem liczby wystąpień w klasie.

Dzięki.

Kalaji
źródło
3
Napotkałem ten sam problem dotyczący obliczania miary F (harmonicznej średniej dokładności i przywołania) przy użyciu walidacji krzyżowej. W tym artykule faktycznie wykazali, że obliczanie miary F dla całego zestawu, a nie uśrednianie, jest metodą mniej tendencyjną. Mam nadzieję, że to może pomóc
papafe
3
@markusian Dodaj to jako odpowiedź! Jest to zdecydowanie najważniejsza rzecz na tej stronie !!
drevicko

Odpowiedzi:

2

F

F1=2precisionrecallprecision+recall
Fββ
Fβ=(1+β2)precisionrecall(β2precision)+recall
F

Należy pamiętać, że istnieją pewne problemy z używaniem tych wartości do wyciągania wniosków na temat błędu generalizacji klasyfikatorów. Na przykład test między wynikami dla jednego klasyfikatora a wynikami dla innego klasyfikatora będzie zbyt optymistyczny.F FtFF

Matt Krause
źródło
Tak, użyłem pierwszej formuły. Oznacza to, że uśrednienie wyniku F z różnych testów daje wyniki podobne do uśredniania precyzji i przywołania, a następnie obliczenia wyniku F na ich podstawie. Próbowałem tego na moich wynikach i było prawie tak samo. Dzięki.
Kalaji