To jest wynik F beta:
Artykuł w Wikipedii stwierdza, że . "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"
Nie wpadłem na pomysł. Po co definiować ten sposób? Czy mogę zdefiniować ten sposób:
I jak pokazać β times as much importance
?
machine-learning
precision-recall
model-evaluation
uporządkowane
źródło
źródło
Odpowiedzi:
Niech będzie wagą w pierwszej podanej przez ciebie definicji, a wagą w drugiej, dwie definicje są równoważne, gdy ustawisz , więc te dwie definicje reprezentują jedynie różnice notacyjne w definicja wyniku . Widziałem, jak zdefiniowano zarówno pierwszy sposób (np. Na stronie wikipedia ), jak i drugi (np. Tutaj ).˜ β ˜ β = β 2 F ββ β~ β~= β2) faβ
środka uzyskuje się biorąc średnią harmoniczną precyzji i wycofywania, czyli odwrotność średnią odwrotności precyzji i odwrotność przywołania:fa1
Zamiast używać wag w mianowniku, które są równe i sumują się do 1 ( dla przywołania i dla precyzji), zamiast tego możemy przypisać wagi, które wciąż sumują się do 1, ale dla którego waga przy odwołaniu jest razy większa niż waga przy precyzji ( przypadku wycofania i przypadku precyzji). To daje twoją drugą definicję wyniku : 112) ββ12) β 1ββ+ 1 Fβ1β+ 1 Fβ
Ponownie, gdybyśmy użyli zamiast tutaj, doszlibyśmy do twojej pierwszej definicji, więc różnice między dwiema definicjami są po prostu notacyjne. ββ2 β
źródło
Powodem zdefiniowania wyniku F-beta za pomocą jest właśnie podany przez Ciebie cytat (tzn. Chcesz dołączyć tyle razy, ile trzeba zapamiętać, co precyzja), biorąc pod uwagę konkretną definicję tego, co to znaczy dołączyć razy ważniejsze jest przywołanie niż precyzja.β2 β β
Konkretny sposób zdefiniowania względnego znaczenia dwóch wskaźników, które prowadzą do sformułowania można znaleźć w Information Retrieval (Van Rijsbergen, 1979):β2
Motywacją do tego jest:
Można zobaczyć, że to prowadzi do sformułowanie można rozpocząć od ogólnego wzoru na ważonej średniej harmonicznej i i obliczenie ich pochodnych cząstkowych w odniesieniu do i . Źródło cytowane niej korzysta (dla „miary skuteczności”), który jest tylko i wyjaśnienie jest odpowiednikiem tego, czy uważamy, lub .β2 P R P R E 1−F E F
Teraz ustawienie pochodne równe sobie miejsca ograniczenie relacji między , a stosunek . Biorąc pod uwagę, że chcemy przywrócić razy większą wagę do zapamiętania niż precyzja, rozważymy stosunek 1 :α P/R β R/P
Zdefiniowanie jako tego stosunku i przestawienie dla daje wagi w kategoriach :β α β2
Otrzymujemy:
Które można zmienić, aby uzyskać formularz w pytaniu.
Zatem, biorąc pod uwagę cytowaną definicję, jeśli chcesz przywiązywać razy większą wagę do przywołania niż precyzja, należy użyć sformułowania . Ta interpretacja nie obowiązuje, jeśli używa się . Analogiczna, mniej intuicyjna interpretacja w przypadku, gdy po prostu używamy polegałaby na tym, że chcemy przywiązywać razy większą wagę do przywołania niż precyzja.β β2 β β β−−√
Możesz zdefiniować wynik, jak sugerujesz, jednak powinieneś być świadomy, że w tym przypadku omawiana interpretacja nie ma już miejsca lub sugerujesz inną definicję do kwantyfikacji kompromisu między precyzją a wycofaniem.
Przypisy:
Bibliografia:
źródło
Aby szybko coś wskazać.
Właściwie uważam, że jest odwrotnie - ponieważ wyższy jest lepszy w punktacji F-β, chcesz, aby mianownik był mały. Dlatego jeśli zmniejszysz β, wówczas model będzie mniej karany za dobrą ocenę dokładności. Jeśli zwiększysz β, wynik F-β jest karany bardziej, gdy precyzja jest wysoka.
Jeśli chcesz zważyć ocenę F-β w taki sposób, aby oceniała precyzję, β powinna wynosić 0 <β <1, gdzie β-> 0 tylko precyzję (licznik staje się bardzo mały, a jedyną rzeczą w mianowniku jest przywołanie, więc wynik F-β zmniejsza się wraz ze wzrostem przywołania).
http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html
źródło
Powodem mnożenia β ^ 2 z precyzją jest właśnie sposób definiowania F-Scores. Oznacza to, że wraz ze wzrostem wartości beta bardziej doceniasz precyzję. Jeśli chciałbyś pomnożyć to przez przywołanie, które również działałoby, oznaczałoby to po prostu, że wraz ze wzrostem wartości beta zwiększasz wartość przywołania.
źródło
Wartość beta większa niż 1 oznacza, że chcemy, aby nasz model zwracał większą uwagę na Przywracanie modelu w porównaniu do Precyzji. Z drugiej strony wartość mniejsza niż 1 kładzie większy nacisk na precyzję.
źródło