Kiedy precyzja jest ważniejsza niż przywołanie?

Czy ktoś może podać mi przykłady, w których ważna jest precyzja, oraz przykłady, w których ważne jest przypomnienie?

• W przypadku modelowania danych o rzadkich nowotworach wszystko, co nie uwzględnia fałszywie ujemnych wyników, jest przestępstwem. Wycofanie jest lepszą miarą niż precyzja.
• W przypadku rekomendacji na YouTube fałszywe negatywy są mniej ważne. Lepsza jest tutaj precyzja .

Mogę podać ci mój prawdziwy przypadek, gdy przypomnienie jest ważniejsze:

Co tydzień mamy tysiące bezpłatnych klientów rejestrujących się na naszej stronie internetowej. Zespół call center chce zadzwonić do nich wszystkich, ale jest to niemożliwe, więc proszą mnie o wybranie tych, którzy mają duże szanse na bycie kupującym (w przypadku wysokiej temperatury określamy ich). Nie chcemy dzwonić do faceta, który nie zamierza kupować (więc precyzja nie jest ważna), ale dla nas bardzo ważne jest, aby wszystkie z wysoką temperaturą były zawsze w moim wyborze, więc nie idą bez zakupu. Oznacza to, że mój model musi mieć wysoką pamięć zwrotną , niezależnie od tego, czy precyzja idzie do piekła.

Mam nadzieję, że to pomoże! Miguel

Chociaż w niektórych sytuacjach przypominanie może być ważniejsze niż precyzja (lub odwrotnie), musisz mieć jedno i drugie, aby uzyskać bardziej zrozumiałą ocenę.

Na przykład, jak zauważył @SmallChess, w środowisku medycznym fałszywie negatywny jest zwykle bardziej katastrofalny niż fałszywie pozytywny w przypadku wstępnych diagnoz. Dlatego można uznać wycofanie za ważniejszy pomiar. Jednak możesz mieć 100% przywołania, a mimo to mieć bezużyteczny model: jeśli twój model zawsze daje pozytywne prognozy, miałby 100% przywołania, ale byłby całkowicie nieinformacyjny.

Dlatego patrzymy na wiele wskaźników:

• krzywa precyzji przywołania
• AUROC
• a czasem metryki, takie jak wynik F.

Co jest ważniejsze, zależy po prostu od kosztu każdego błędu.

Precyzja zwykle wiąże się z kosztami bezpośrednimi; im więcej masz fałszywych wyników pozytywnych, tym większy masz koszt prawdziwie pozytywnych wyników. Jeśli Twoje koszty są niskie, precyzja nie ma większego znaczenia. Na przykład, jeśli masz 1 mln adresów e-mail, a wysłanie wiadomości e-mail do wszystkich będzie kosztować 10 USD, prawdopodobnie nie warto poświęcić czasu na identyfikację osób, które najprawdopodobniej odpowiedzą, a jedynie na spamowanie wszystkich.

Przypomnijmy, z drugiej strony, zwykle wiąże się z kosztami alternatywnymi; rezygnujesz z okazji za każdym razem, gdy masz fałszywy negatyw. Tak więc przywołanie jest najmniej ważne, gdy krańcowa wartość dodatkowej poprawnej identyfikacji jest niewielka, np. Istnieje wiele możliwości, niewiele się między nimi różni, a jedynie ograniczoną liczbę można realizować. Załóżmy na przykład, że chcesz kupić jabłko. W sklepie jest 100 jabłek, a 10 z nich jest złych. Jeśli masz metodę rozróżniania złych jabłek, w której brakuje 80% dobrych, zidentyfikujesz około 18 dobrych jabłek. Zwykle przywołanie 20% byłoby okropne, ale jeśli chcesz tylko 5 jabłek, to pominięcie pozostałych 72 jabłek nie ma tak naprawdę znaczenia.

Tak więc przypomnienie jest najważniejsze, gdy:

- Liczba możliwości jest niewielka (gdyby było tylko 10 dobrych jabłek, to nie byłoby prawdopodobne, aby znaleźć 5 dobrych, przy współczynniku przywołania wynoszącym tylko 20%)
- Istnieją znaczne różnice między możliwościami (jeśli niektóre jabłka są lepsze od innych , wówczas wskaźnik wycofania wynoszący 20% wystarczy, aby zdobyć 5 dobrych jabłek, ale niekoniecznie będą najlepszymi jabłkami)
LUB
- Niewielka korzyść z możliwości pozostaje wysoka, nawet w przypadku dużej liczby okazji. Na przykład, podczas gdy większość kupujących nie odniesie większych korzyści z więcej niż 18 dobrych jabłek, sklep chciałby sprzedać więcej niż 18 jabłek.

Zatem precyzja będzie ważniejsza niż przypominanie, gdy koszt działania jest wysoki, ale koszt braku działania jest niski. Należy pamiętać, że są to koszty działania / niedziałania na jednego kandydata, a nie „koszt jakiegokolwiek działania w ogóle” w porównaniu z kosztem braku działania w ogóle ”. W przykładzie jabłek jest to koszt zakupu / niezakupienia określonego jabłka, a nie koszt zakupu niektórych jabłek w porównaniu z kosztem braku zakupu jabłek; koszt nie kupienia konkretnego jabłka jest niski, ponieważ istnieje wiele innych jabłek. Ponieważ koszt zakupu złego jabłka jest wysoki, ale koszt przekazania konkretnego dobrego jabłka jest niski, w tym przykładzie ważniejsza jest precyzja. Innym przykładem byłoby zatrudnienie, gdy jest wielu podobnych kandydatów.

Przypomnienie jest ważniejsze niż precyzja, gdy koszt działania jest niski, ale koszt alternatywny rezygnacji z kandydata jest wysoki. Istnieje przykład spamu, który podałem wcześniej (koszt pominięcia adresu e-mail nie jest wysoki, ale koszt wysłania wiadomości e-mail do osoby, która nie odpowiada jest jeszcze niższy), a innym przykładem byłoby zidentyfikowanie kandydatów na szczepionka przeciw grypie: daj szczepionkę przeciw grypie komuś, kto jej nie potrzebuje, a to kosztuje kilka dolarów, nie dawaj jej komuś, kto jej potrzebuje, a może umrzeć. Z tego powodu plany opieki zdrowotnej na ogół oferują wszystkim szczepionkę przeciw grypie, całkowicie pomijając precyzję.

Akumulacja ma świetną odpowiedź na pytanie, w jaki sposób można wymyślić więcej przykładów wyjaśniających znaczenie precyzji w stosunku do przywołania i odwrotnie.

Większość pozostałych odpowiedzi stanowi ważny argument za ważnością przypominania, więc pomyślałem, że dam przykład na znaczenie precyzji. Jest to całkowicie hipotetyczny przykład, ale uzasadnia to.

Powiedzmy, że stworzono model uczenia maszynowego, aby przewidzieć, czy dany dzień jest dobrym dniem na uruchomienie satelitów, czy nie, w zależności od pogody.

• Jeśli model przypadkowo przewiduje, że dobry dzień na uruchomienie satelitów jest zły ( fałszywie ujemny ), tracimy szansę na wystrzelenie. To nie jest taka wielka sprawa.

• Jeśli jednak model przewiduje, że jest to dobry dzień, ale tak naprawdę zły dzień na wystrzelenie satelitów ( fałszywie dodatni ), satelity mogą zostać zniszczone, a koszt szkód wyniesie miliardy.

Jest to przypadek, w którym precyzja jest ważniejsza niż przypomnienie.

Ciężko mi było pamiętać różnicę między precyzją a pamięcią, dopóki nie wymyśliłem tego mnemonika dla siebie:

PREcision to testy PREgnancy, ponieważ reCALL jest w centrum CALL.

Za pomocą testu ciążowego producent testu musi upewnić się, że pozytywny wynik oznacza, że ​​kobieta jest naprawdę w ciąży. Ludzie mogą zareagować na pozytywny test, nagle pobierając się lub kupując dom (jeśli wielu konsumentów dostanie fałszywych wyników pozytywnych i poniesie ogromne koszty bez powodu, producent testowy nie będzie miał klientów). Raz dostałem fałszywie ujemny test ciążowy, a to oznaczało, że minęło kilka tygodni, zanim dowiedziałem się, że jestem w ciąży ... prawda ostatecznie stała się WYRAŹNA. (Kalambur przeznaczony.)

Teraz wyobraź sobie centrum obsługi roszczeń ubezpieczeniowych. Większość nieuczciwych roszczeń jest zgłaszana w poniedziałki, po tym, jak oszuści łączą się ze współpracownikami i tworzą wymyślone historie (powiedzmy, że samochód został skradziony) w weekend. Co najlepiej robić w towarzystwie ubezpieczeniowym w poniedziałki? Może powinni dostroić się, by faworyzować wycofywanie zamiast precyzji. O wiele lepiej jest oznaczyć więcej roszczeń jako pozytywne (prawdopodobne oszustwo) do dalszego dochodzenia niż przegapić niektóre z oszustw i wypłacić gotówkę, która nigdy nie powinna była zostać wypłacona. Fałszywie pozytywny (oznaczony jako dodatkowa kontrola jako możliwe oszustwo, ale strata klienta była realna) można prawdopodobnie usunąć, przypisując doświadczonego korektora, który może nalegać na raport policyjny, zażądać zbudowania filmu bezpieczeństwa itp. Fałszywie negatywny (zaakceptowanie oszust

F1 jest świetne, ale zrozumienie, w jaki sposób zostanie zastosowany test / prognoza, jest naprawdę ważne, ponieważ zawsze istnieje ryzyko, że się pomylisz ... chcesz wiedzieć, jak straszne będą konsekwencje, jeśli nie będą.

Wykrywanie spamu e-mail : jest to jeden z przykładów, w których Precyzja jest ważniejsza niż Odwołanie .

Szybkie podsumowanie :

• Precyzja : Mówi, kiedy przewidujesz coś pozytywnego, ile razy były one rzeczywiście pozytywne. natomiast,

• Przypomnij : Na podstawie rzeczywistych pozytywnych danych określa się, ile razy poprawnie przewidziałeś.

Powiedziawszy powyżej, w przypadku wykrycia spamu, powinno być w porządku, jeśli spam (pozytywny przypadek) pozostanie niewykryty i nie przejdzie do folderu spamu, ale jeśli email jest dobry (negatywny), to nie może przejść do folder spamu. tzn. Precison jest ważniejszy. (Jeśli model przewiduje coś pozytywnego (np. Spam), lepiej być spamem. W przeciwnym razie możesz przegapić ważne wiadomości e-mail).

Mam nadzieję, że to wyjaśni.