Zastosowania i różnice dla podobieństwa Jaccard i podobieństwa Cosinus

27

Podobieństwo Jaccard i podobieństwo cosinus są dwoma bardzo częstymi pomiarami przy porównywaniu podobieństw między przedmiotami. Nie jestem jednak do końca jasne, w jakiej sytuacji najlepiej wybrać inną.

Czy ktoś może wyjaśnić różnice między tymi dwoma pomiarami (różnica w koncepcji lub zasadzie, a nie w definicji lub obliczeniach) i ich preferowane zastosowania?

similarity shihpeng
źródło

19

Jaccard Podobieństwo podaje $s_{ij} = \frac{p}{p+q+r}$

gdzie,

p = liczba atrybutów dodatnia dla obu obiektów
q = liczba atrybutów 1 dla i i 0 dla j
r = liczba atrybutów 0 dla i i 1 dla j

Natomiast podobieństwo kosinusowe = $\frac{A \cdot B}{\|A\|\|B\|}$ gdzie A i B są wektorami obiektów.

Mówiąc prosto, w podobieństwie do kosinusa, liczba wspólnych atrybutów jest dzielona przez całkowitą liczbę możliwych atrybutów. Natomiast w podobieństwie Jaccard liczba wspólnych atrybutów jest dzielona przez liczbę atrybutów, które istnieją w co najmniej jednym z dwóch obiektów.

I istnieje wiele innych miar podobieństwa, z których każda ma swoje dziwactwa. Przy podejmowaniu decyzji, którego użyć, spróbuj pomyśleć o kilku reprezentatywnych przypadkach i ustal, który indeks dałby najbardziej użyteczne wyniki dla osiągnięcia twojego celu.

Indeks Cosinus może być użyty do zidentyfikowania plagiatu, ale nie będzie dobrym indeksem do identyfikacji stron lustrzanych w Internecie. Podczas gdy indeks Jaccard będzie dobrym indeksem do identyfikacji witryn lustrzanych, ale nie będzie tak świetny w łapaniu plagiatów makaronów (w większym dokumencie).

Stosując te wskaźniki, musisz dokładnie przemyśleć swój problem i wymyślić, jak zdefiniować podobieństwo. Kiedy masz już na myśli definicję, możesz zacząć kupować indeks.

Edycja: Wcześniej w odpowiedzi znalazłem przykład, który był ostatecznie niepoprawny. Dzięki kilku użytkownikom, którzy to zauważyli, usunąłem błędny przykład.

saq7
źródło

2

czy mógłbyś wyjaśnić, dlaczego indeks Cosinus jest lepszy do identyfikowania plagiatu, a nie jest dobry do identyfikowania witryn lustrzanych?

dharm0us

Wydaje mi się, że niektóre części tej odpowiedzi nie są intuicyjne. „Na przykład, jeśli masz dwa obiekty, każdy z 10 atrybutami, z możliwych 100 atrybutów. Ponadto mają one wszystkie wspólne 10 atrybutów. W tym przypadku indeks Jaccard będzie wynosił 1, a indeks cosinus będzie wynosił 0,001.” To by się tłumaczyło na coś takiego cosine_similarity(10*[1]+90*[0], 10*[1]+90*[0]). Oczywiście, podobieństwo cosinus również byłoby tutaj 1, ponieważ obie miary ignorują te elementy, które są zerowe w obu wektorach.

fsociety,

1

Ta odpowiedź jest niepoprawna w kwestii podobieństwa cosinusów, proszę wziąć pod uwagę odpowiedź użytkownika user18596

Robin

„Mówiąc prosto, w podobieństwie do kosinusa, liczba wspólnych atrybutów jest dzielona przez całkowitą liczbę możliwych atrybutów” -> jest to całkowicie niepoprawne. Notacja określa produkty i normy kropek wektorowych.

Sean Owen

23

Nie mogę komentować, ponieważ nie mam żadnego statusu, ale sprawdzona odpowiedź jest zła, a także nie odpowiada na pytanie. „A” oznacza normę L2 dla A, tj. Długość wektora w przestrzeni euklidesowej, a nie wymiarowość wektora A. Innymi słowy, nie liczysz 0 bitów, dodajesz 1 bit i bierzesz pierwiastek kwadratowy. Dlatego też przykład 10 atrybutów wektora o długości 100 jest błędny. Przykro mi, ale nie mam prawdziwej odpowiedzi na pytanie, kiedy powinieneś użyć której metryki, ale nie mogę po prostu pozwolić, aby niepoprawna odpowiedź pozostała niekwestionowana.

użytkownik18596
źródło

2

Masz całkowitą rację. Szkoda, że tak wiele osób głosuje na błędną odpowiedź. Podobieństwo cosinus, jak opisano w artykule na Wikipedii, nie uwzględnia 0 bitów. en.wikipedia.org/wiki/Cosine_similarity

neelshiv

11

Podobieństwo Jaccard stosuje się w dwóch typach przypadków binarnych:

Symetryczny, gdzie 1 i 0 mają równe znaczenie (płeć, stan cywilny itp.)
Asymetryczny, gdzie 1 i 0 mają różne poziomy ważności (pozytywny wynik testu na chorobę)

Podobieństwo cosinus jest zwykle używane w kontekście eksploracji tekstu do porównywania dokumentów lub wiadomości e-mail. Jeśli podobieństwo cosinusów między dwoma wektorami terminów dokumentu jest wyższe, wówczas oba dokumenty mają większą liczbę wspólnych słów

Inna różnica to 1 - Współczynnik Jaccarda może być stosowany jako miara podobieństwa lub odległości, podczas gdy podobieństwo kosinusowe nie ma takich konstrukcji. Podobną rzeczą jest odległość Tonimoto, która jest używana w taksonomii.

Vikram Venkat
źródło

Dlaczego tylko Jaccard może być stosowany jako środek odmienny? Rozumiem, że cosinejest to inny, ale nie nieważny środek.

javadba

3

Jak wspomniano powyżej, sprawdzona odpowiedź jest nieprawidłowa.

Gdzie i są binarne wektory, mogą być interpretowane jako zestawy wskaźników o wartości 1. Powiedzmy zatem rozważyć zestawy i . $\mathbf{a}$ $\mathbf{b}$ $A$ $B$

Podobieństwo Jaccarda podaje

J (A, B) = \frac{| A \cap B |}{| A \cup B |} = \frac{| A \cap B |}{| A \cap B | + | A - B | + | B - A |}

$J(A, B) = \frac{|A \cap B|}{|A \cup B|} = \frac{|A \cap B|}{|A \cap B| + |A - B| + |B - A|}$

Cosinus podobieństwo jest następnie podane przez

C (A, B) = \frac{| A \cap B |}{\sqrt{| A | | B |}} = \frac{| A \cap B |}{\sqrt{(| A \cap B | + | A - B |) (| A \cap B | + | B - A |)}}

$C(A, B) = \frac{|A \cap B|}{\sqrt{\left|A\right|\left|B\right|}} = \frac{|A \cap B|}{\sqrt{(\left|A\cap B\right| + |A - B|)(\left|A\cap B\right| + |B - A|)}}$

Niektóre porównania:

Liczniki tutaj są takie same.
Mianownik rośnie arytmetycznie wraz z rozmiaremiw jaccard, ale geometrycznie w cosinusie. $|A|$ $|B|$
Mianownik cosinusa zależy tylko od liczby pozycji woraz liczba pozycji w. To nie zależy od ich skrzyżowania. $|A|$ $|B|$

Nie mam jeszcze jasnej intuicji co do tego, który z nich powinien być preferowany, z wyjątkiem tego, jak zauważył Vikram Venkat, 1 - Jaccard odpowiada prawdziwej metryki, w przeciwieństwie do cosinusa; a cosinus naturalnie rozciąga się na wektory o wartościach rzeczywistych.

joeln
źródło

Zastosowania i różnice dla podobieństwa Jaccard i podobieństwa Cosinus

Odpowiedzi: