Skorygowany wskaźnik Rand a skorygowane informacje wzajemne

10

Usiłuję ocenić wydajność klastrowania. Czytałem dokumentację skiscit-learn dotyczącą metryk . Nie rozumiem różnicy między ARI a AMI. Wydaje mi się, że robią to samo na dwa różne sposoby.

Cytowanie z dokumentacji:

Biorąc pod uwagę znajomość podstawowych przypisań do klasy prawdy label_true i nasz algorytm grupowania tych samych próbek label_pred, skorygowany indeks Rand jest funkcją, która mierzy podobieństwo dwóch przypisań, ignorując permutacje i normalizując szanse.

vs

Biorąc pod uwagę znajomość podstawowych przypisań do klasy prawdy label_true i nasze przypisania algorytmów klastrowych tych samych próbek label_pred, informacja wzajemna jest funkcją, która mierzy zgodność dwóch zadań, ignorując permutacje ... AMI zostało zaproponowane niedawno i jest znormalizowane względem szansa.

Czy powinienem użyć ich obu w mojej ocenie klastrów, czy byłoby to zbędne?

al27091
źródło
Pan Rand nie jest przypadkowy.
Ma ZAKOŃCZENIE - Anony-Mousse,

Odpowiedzi:

2

Są dwa z kilkunastu, którzy wszyscy próbują porównać skupienia.

Ale nie są równoważne. Używają innej teorii.

Czasami ARI może preferować jeden wynik, a AMI inny. Ale często zgadzają się w preferencjach (nie w liczbach).

Ma ZAKOŃCZENIE - Anony-Mus
źródło
Co masz na myśli
mówiąc
Podczas porównywania wielu wyników.
Ma ZAKOŃCZENIE - Anony-Mousse
10

Ogólna zasada jest następująca:

  • Użyj ARI, gdy klaster naziemnej prawdy ma duże równe klastry
  • Usa AMI, gdy grupowanie prawdy naziemnej jest niezrównoważone i istnieją małe klastry

Pracowałem nad tym tematem. Odniesienie: Korekta dla miar porównawczych szans klastra

Simone
źródło
Zastosowałem HDBSCAN i KMeans na niektórych moich zestawach danych z odpowiednią liczbą klastrów dla KMeans i poprawnym min. Rozmiarem klastra dla HDBSCAN. Mój problem polega na tym, że postęp w AMI nie koreluje z postępem w ARI. Mam średnio 0,3 i 0,35 w AMI, co jest niskie. Otrzymuję wyniki ARI bliskie odpowiednio 0: 0,07 i 0,01. Nawet w przypadkach, w których uzyskałem lepszy AMI z HDBSCAN, moje wyniki ARI były bardzo zbliżone do 0, tj. HDBSCAN produkuje niższe ARI niż KMeans, nawet w przypadkach, w których AMI jest wyższy.
ryuzakinho
Jakiego rodzaju wyniki grupowania oznaczają 0,3 i 0,35 dla AMI?
Simone
1
pastebin.com/raw/WHvTxbLm Jest to jeden z przypadków, których nie rozumiem: Lepsze AMI nie oznacza lepszego ARI i odwrotnie. Czy jest jakiś powód, dla którego ufałbym względnej poprawie jednego lub drugiego. Nie jestem pewien, na jakie wskaźniki należy spojrzeć, aby poprawić swoje wyniki (z artykułu, który podłączyłeś, wydaje mi się, że powinien to być AMI, biorąc pod uwagę rozkład zajęć, ale nadal jestem zdezorientowany).
ryuzakinho
1
W twoim przypadku wynik HDBSCAN pokazuje bardzo duży klaster i wiele małych, co z definicji jest niezrównoważonym rozwiązaniem. Dlatego AMI jest większy z DBSCAN. Twoja podstawowa prawda jest bardziej wyważona niż to rozwiązanie. Dlatego użyłbym ARI, aby wybrać rozwiązanie tutaj. To powiedziawszy, wydaje się, że uzyskane przez ciebie rozwiązania klastrowe nie są tak dobre. Może dlatego, że masz wiele klastrów. Czy możesz zmniejszyć liczbę klastrów, które chcesz? Czy masz funkcje, które należy wziąć pod uwagę, zamiast korzystania z klastrowania opartego wyłącznie na odległości?
Simone
1
Po bardziej jakościowych testach okazuje się, że AMI był bardziej niezawodny w moim przypadku użycia. Rzeczywiście, AMI powiedział, że HDBSCAN był lepszy, a ja rzeczywiście go znalazłem. Chociaż miałem jeden duży klaster hałasu, pozostałe klastry były czystsze niż klastry KMEANS.
ryuzakinho