Jakie są miary dokładności danych z wielu etykiet?

Zastanów się nad scenariuszem, w którym otrzymujesz matrycę znanych etykiet i predykowaną etykietę. Chciałbym zmierzyć dobroć macierzy PredictedLabel w porównaniu do matrycy FamousLabel.

Wyzwanie polega jednak na tym, że Matryca Znanych Etykiet ma kilka wierszy tylko jeden 1, a kilka innych wierszy ma wiele 1 (te wystąpienia są oznaczone wieloma etykietami). Przykład znanej matrycy etykiet znajduje się poniżej.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

W powyższej macierzy instancja danych 1 i 2 to dane o pojedynczej etykiecie, instancja danych 3 i 4 to dane o dwóch etykietach, a instancja danych 5 to dane o trzech etykietach.

Teraz mam PredifiedLabel Matrix instancji danych przy użyciu algorytmu.

Chciałbym poznać różne miary, które można wykorzystać do zmierzenia dobroci matrycy PredictLabel w porównaniu do matrycy znanej.

Mogę myśleć o różnicy między normami frobeinus jako jednym z mierników. Ale szukam takiej miary, jak dokładność $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

W jaki sposób możemy zdefiniować dla wielu wystąpień danych? $\rm Correctly\_predicted$

machine-learning data-mining multilabel Uczeń
źródło

(+1) Sidenote: Czy istnieje konkretny powód, dla którego nie zaakceptowałeś odpowiedzi na większość swoich pytań? Dlaczego nie opublikowałeś komentarza, gdy podana odpowiedź nie rozwiązała Twojego problemu? Np stats.stackexchange.com/questions/9947/...

Steffen

Odpowiedzi:

(1) daje ładny przegląd:

Klasyfikacja wielu marek na stronie Wikipedii zawiera również sekcję dotyczącą wskaźników oceny.

Dodałbym ostrzeżenie, że w ustawieniach na wielu etykietach dokładność jest niejednoznaczna: może odnosić się do dokładnego współczynnika dopasowania lub wyniku Hamminga (zobacz ten post ). Niestety wiele artykułów używa terminu „dokładność”.

(1) Sorower, Mohammad S. „ Badanie literatury na temat algorytmów uczenia się wielu marek. ” Oregon State University, Corvallis (2010).

Franck Dernoncourt
źródło

Czy te definicje są sprzeczne z ogólnymi definicjami Precyzji i przywołania? Zawsze czytałem, że precyzja powinna dzielić przez TP + FP i przypominać powinna dzielić przez TP + FN (proponowane tutaj definicje działają odwrotnie, jeśli dobrze rozumiem).

tomasyany

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

na accuracymiarę, jak elegancko radzić sobie z przypadkami, w których mianownik |Y + Z| == 0?

ihadanny

@tomasyany odnosi się do definicji tekstowych (nie formuł), które wydają się być zmieniane.

Narfanar

A ta definicja AP przypomina bardziej mAP (średni AP), nie? To, co określa się mianem „dokładności”, to średnie IoU. Warunki są ogólnie dość mylące.

Narfanar

Hamming Loss jest prawdopodobnie najczęściej stosowaną funkcją straty w klasyfikacji wielu marek.

Rzuć okiem na badania empiryczne na temat klasyfikacji wielu marek i klasyfikacji wielu marek : przegląd , z których oba to omawiają.

tdc
źródło

Correctly Predictedto przecięcie zestawu sugerowanych etykiet z zestawem oczekiwanym. Total Instancesjest sumą powyższych zestawów (bez liczby duplikatów).

Biorąc pod uwagę jeden przykład, w którym przewidujesz klasy, A, G, Ea przypadek testowy ma takie, E, A, H, Pjak te, na których kończyszAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

Marsellus Wallace
źródło