Jakie są miary dokładności danych z wielu etykiet?

25

Zastanów się nad scenariuszem, w którym otrzymujesz matrycę znanych etykiet i predykowaną etykietę. Chciałbym zmierzyć dobroć macierzy PredictedLabel w porównaniu do matrycy FamousLabel.

Wyzwanie polega jednak na tym, że Matryca Znanych Etykiet ma kilka wierszy tylko jeden 1, a kilka innych wierszy ma wiele 1 (te wystąpienia są oznaczone wieloma etykietami). Przykład znanej matrycy etykiet znajduje się poniżej.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

W powyższej macierzy instancja danych 1 i 2 to dane o pojedynczej etykiecie, instancja danych 3 i 4 to dane o dwóch etykietach, a instancja danych 5 to dane o trzech etykietach.

Teraz mam PredifiedLabel Matrix instancji danych przy użyciu algorytmu.

Chciałbym poznać różne miary, które można wykorzystać do zmierzenia dobroci matrycy PredictLabel w porównaniu do matrycy znanej.

Mogę myśleć o różnicy między normami frobeinus jako jednym z mierników. Ale szukam takiej miary, jak dokładność(=Correctly_predicted_instancetotal_instance)

W jaki sposób możemy zdefiniować dla wielu wystąpień danych?Correctly_predictere

Uczeń
źródło
5
(+1) Sidenote: Czy istnieje konkretny powód, dla którego nie zaakceptowałeś odpowiedzi na większość swoich pytań? Dlaczego nie opublikowałeś komentarza, gdy podana odpowiedź nie rozwiązała Twojego problemu? Np stats.stackexchange.com/questions/9947/...
Steffen

Odpowiedzi:

23

(1) daje ładny przegląd:

wprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutaj

Klasyfikacja wielu marek na stronie Wikipedii zawiera również sekcję dotyczącą wskaźników oceny.

Dodałbym ostrzeżenie, że w ustawieniach na wielu etykietach dokładność jest niejednoznaczna: może odnosić się do dokładnego współczynnika dopasowania lub wyniku Hamminga (zobacz ten post ). Niestety wiele artykułów używa terminu „dokładność”.


(1) Sorower, Mohammad S. „ Badanie literatury na temat algorytmów uczenia się wielu marek. ” Oregon State University, Corvallis (2010).

Franck Dernoncourt
źródło
2
Czy te definicje są sprzeczne z ogólnymi definicjami Precyzji i przywołania? Zawsze czytałem, że precyzja powinna dzielić przez TP + FP i przypominać powinna dzielić przez TP + FN (proponowane tutaj definicje działają odwrotnie, jeśli dobrze rozumiem).
tomasyany
YjaY={0,1}kjaZja=h(xja)={0,1}khYjaZja
na accuracymiarę, jak elegancko radzić sobie z przypadkami, w których mianownik |Y + Z| == 0?
ihadanny
3
@tomasyany odnosi się do definicji tekstowych (nie formuł), które wydają się być zmieniane.
Narfanar
A ta definicja AP przypomina bardziej mAP (średni AP), nie? To, co określa się mianem „dokładności”, to średnie IoU. Warunki są ogólnie dość mylące.
Narfanar
3

Correctly Predictedto przecięcie zestawu sugerowanych etykiet z zestawem oczekiwanym. Total Instancesjest sumą powyższych zestawów (bez liczby duplikatów).

Biorąc pod uwagę jeden przykład, w którym przewidujesz klasy, A, G, Ea przypadek testowy ma takie, E, A, H, Pjak te, na których kończyszAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

Marsellus Wallace
źródło