Mam zadanie eksploracji danych, w którym tworzę system wyszukiwania obrazów oparty na treści. Mam 20 zdjęć 5 zwierząt. Łącznie więc 100 zdjęć.
Mój system zwraca 10 najbardziej odpowiednich obrazów do obrazu wejściowego. Teraz muszę ocenić wydajność mojego systemu za pomocą krzywej Precision-Recall. Nie rozumiem jednak koncepcji krzywej Precyzja-Przywołanie. Powiedzmy, że mój system zwraca 10 obrazów dla obrazu goryla, ale tylko 4 z nich to goryle. Pozostałe 6 obrazów to inne zwierzęta ”. A zatem,
- precyzja wynosi
4/10 = 0.4
(zwrócone znaczniki) / (wszystkie zwrócone) - wycofanie to
4/20 = 0.2
(odnośniki zwrócone) / (wszystkie znaczniki)
Mam tylko punkt, <0.2,0.4>
a nie krzywą. Jak uzyskać krzywą (tj. Zestaw punktów)? Czy powinienem zmienić liczbę zwracanych obrazów (w moim przypadku jest to ustalone na 10)?
Odpowiedzi:
Generowanie krzywej PR jest podobne do generowania krzywej ROC. Aby narysować takie wykresy, potrzebujesz pełnego rankingu zestawu testowego. Aby sporządzić ten ranking, potrzebujesz klasyfikatora, który generuje wartość decyzji zamiast odpowiedzi binarnej. Wartość decyzji jest miarą ufności w prognozie, którą możemy wykorzystać do uszeregowania wszystkich instancji testowych. Na przykład wartości decyzyjne regresji logistycznej i SVM są odpowiednio prawdopodobieństwem i (podpisaną) odległością do oddzielającej hiperpłaszczyzny.
Jeśli dysponujesz wartościami decyzji, określasz zestaw progów dla tych wartości decyzji. Te progi są różnymi ustawieniami klasyfikatora: np. Możesz kontrolować poziom konserwatyzmu. W przypadku regresji logistycznej domyślnym progiem byłoby ale można przejść przez cały zakres . Zazwyczaj progi są wybierane jako unikalne wartości decyzji uzyskane przez model dla zestawu testowego.f(x)=0.5 (0,1)
Przy każdym wyborze progu model daje różne prognozy (np. Inną liczbę prognoz pozytywnych i negatywnych). Jako taki, otrzymujesz zestaw krotek z różną precyzją i przywołujesz na każdym progu, np. Zestaw krotek . Krzywa PR jest rysowana na podstawie par .(Ti,Pi,Ri) (Pi,Ri)
Jeśli poprawnie zrozumiałem twój komentarz, obliczony przez ciebie całkowity podobieństwo może być wykorzystany jako wartość decyzji.
źródło