Jak ocenić podobieństwo dwóch histogramów?

Biorąc pod uwagę dwa histogramy, jak oceniamy, czy są one podobne, czy nie?

Czy wystarczy spojrzeć na dwa histogramy? Proste mapowanie jeden na jeden ma problem polegający na tym, że jeśli histogram jest nieco inny i nieznacznie przesunięty, nie uzyskamy pożądanego wyniku.

Jakieś sugestie?

Ostatni artykuł, który może być wart przeczytania, to:

Cao, Y. Petzold, L. Ograniczenia dokładności i pomiar błędów w stochastycznej symulacji układów reagujących chemicznie, 2006.

Chociaż niniejszy artykuł koncentruje się na porównaniu stochastycznych algorytmów symulacyjnych, zasadniczo główną ideą jest porównanie dwóch histogramów.

Możesz uzyskać dostęp do pliku pdf ze strony autora.

Istnieje wiele miar odległości między dwoma histogramami. Dobrą kategoryzację tych środków można przeczytać w:

K. Meshgi i S. Ishii, „Rozszerzanie histogramu kolorów za pomocą siatki w celu poprawy dokładności śledzenia”, w Proc. MVA'15, Tokio, Japonia, maj 2015.

Najpopularniejsze funkcje odległości zostały wymienione tutaj dla Twojej wygody:

• $L_0$　lub odległość Hellingera

$D_{L0} = \sum\limits_{i} h_1(i) \neq h_2(i)$

• $L_1$ , Manhattan lub City Block Distance

$D_{L1} = \sum_{i}\lvert h_1(i) - h_2(i) \rvert$

• $L=2$ lub odległość euklidesowa

$D_{L2} = \sqrt{\sum_{i}\left( h_1(i) - h_2(i) \right) ^2 }$

• L lub Chybyshev Distance$_{\infty}$

$D_{L\infty} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• L lub Odległość ułamkowa (część rodziny odległości Minkowski)$_p$

$D_{Lp} = \left(\sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert ^p \right)^{1/p}$ i$0<p<1$

• Przecięcie histogramu

$D_{\cap} = 1 - \frac{\sum_{i} \left(min(h_1(i),h_2(i) \right)}{min\left(\vert h_1(i)\vert,\vert h_2(i) \vert \right)}$

• Odległość między cosinusami

$D_{CO} = 1 - \sum_i h_1(i)h2_(i)$

• Canberra Odległość

$D_{CB} = \sum_i \frac{\lvert h_1(i)-h_2(i) \rvert}{min\left( \lvert h_1(i)\rvert,\lvert h_2(i)\rvert \right)}$

• Współczynnik korelacji Pearsona

$D_{CR} = \frac{\sum_i \left(h_1(i)- \frac{1}{n} \right)\left(h_2(i)- \frac{1}{n} \right)}{\sqrt{\sum_i \left(h_1(i)- \frac{1}{n} \right)^2\sum_i \left(h_2(i)- \frac{1}{n} \right)^2}}$

• Rozbieżność Kołmogorowa-Smirnowa

$D_{KS} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• Dopasuj odległość

$D_{MA} = \sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert$

• Odległość Cramer-von Mises

$D_{CM} = \sum\limits_{i}\left( h_1(i) - h_2(i) \right)^2$

• $\chi^2$ Statystyka

$D_{\chi^2} = \sum_i \frac{\left(h_1(i) - h_2(i)\right)^2}{h_1(i) + h_2(i)}$

• Bhattacharyya Distance

$D_{BH} = \sqrt{1-\sum_i \sqrt{h_1(i)h_2(i)}}$ i hellinger

• Kwadratowy akord

$D_{SC} = \sum_i\left(\sqrt{h_1(i)}-\sqrt{h_2(i)}\right)^2$

• Rozbieżność Kullbacka-Lieblera

$D_{KL} = \sum_i h_1(i)log\frac{h_1(i)}{m(i)}$

• Rozbieżność Jefferey

$D_{JD} = \sum_i \left(h_1(i)log\frac{h_1(i)}{m(i)}+h_2(i)log\frac{h_2(i)}{m(i)}\right)$

• Odległość przemieszczacza ziemi (jest to pierwszy członek odległości transportu, w którym osadzone są informacje o binowaniu w odległości, aby uzyskać więcej informacji, zapoznaj się z wyżej wymienionym artykułem lub wpisem na Wikipedii .$A$

$D_{EM} = \frac{min_{f_{ij}}\sum_{i,j}f_{ij}A_{ij}}{sum_{i,j}f_{ij}}$ $\sum_j f_{ij} \leq h_1(i) , \sum_j f_{ij} \leq h_2(j) , \sum_{i,j} f_{ij} = min\left( \sum_i h_1(i) \sum_j h_2(j) \right)$ a reprezentuje przepływ z do$f_{ij}$$i$$j$

• Kwadratowa odległość

$D_{QU} = \sqrt{\sum_{i,j} A_{ij}\left(h_1(i) - h_2(j)\right)^2}$

• Dystans kwadratowy-chi

$D_{QC} = \sqrt{\sum_{i,j} A_{ij}\left(\frac{h_1(i) - h_2(i)}{\left(\sum_c A_{ci}\left(h_1(c)+h_2(c)\right)\right)^m}\right)\left(\frac{h_1(j) - h_2(j)}{\left(\sum_c A_{cj}\left(h_1(c)+h_2(c)\right)\right)^m}\right)}$ i$\frac{0}{0} \equiv 0$

Implementacja Matlaba niektórych z tych odległości jest dostępna z mojego repozytorium GitHub: https://github.com/meshgi/Histogram_of_Color_Advancements/tree/master/distance Również można wyszukiwać facetów takich jak Yossi Rubner, Ofir Pele, Marco Cuturi i Haibin Ling dla więcej najnowocześniejszych odległości.

Aktualizacja: Alternatywne objaśnienie odległości pojawia się tu i tam w literaturze, dlatego wymieniam je tutaj w celu uzupełnienia.

• Odległość Canberra (inna wersja)

$D_{CB}=\sum_i \frac{|h_1(i)-h_2(i)|}{|h_1(i)|+|h_2(i)|}$

• Bray-Curtis Dissimilarity, Sorensen Distance (ponieważ suma histogramów jest równa jeden, jest równy )$D_{L0}$

$D_{BC} = 1 - \frac{2 \sum_i h_1(i) = h_2(i)}{\sum_i h_1(i) + \sum_i h_2(i)}$

• Jaccard Distance (tj. Przecięcie przez związek, inna wersja)

$D_{IOU} = 1 - \frac{\sum_i min(h_1(i),h_2(i))}{\sum_i max(h_1(i),h_2(i))}$

Standardową odpowiedzią na to pytanie jest test chi-kwadrat . Test KS dotyczy niepowiązanych danych, a nie binowanych danych. (Jeśli masz niepowiązane dane, to zdecydowanie skorzystaj z testu w stylu KS, ale jeśli masz tylko histogram, test KS nie jest odpowiedni.)

Szukasz testu Kołmogorowa-Smirnowa . Nie zapomnij podzielić wysokości paska przez sumę wszystkich obserwacji każdego histogramu.

Należy zauważyć, że test KS zgłasza także różnicę, jeśli np. Średnie rozkładów są przesunięte względem siebie. Jeśli tłumaczenie histogramu wzdłuż osi X nie ma znaczenia w Twojej aplikacji, możesz najpierw odjąć średnią z każdego histogramu.

Jak wskazuje odpowiedź Davida, test chi-kwadrat jest konieczny dla binowanych danych, ponieważ test KS zakłada ciągłe rozkłady. Jeśli chodzi o to, dlaczego test KS jest nieodpowiedni (komentarz naught101), w literaturze dotyczącej statystyki statystycznej dyskutowano na ten temat, który warto tutaj omówić.

Zabawna wymiana rozpoczęła się od stwierdzenia ( García-Berthou i Alcaraz, 2004 ), że jedna trzecia artykułów Nature zawiera błędy statystyczne. Jednak kolejny artykuł ( Jeng, 2006 , „ Błąd w testach statystycznych błędu w testach statystycznych ” - być może mój ulubiony tytuł pracy w historii) wykazał, że Garcia-Berthou i Alcaraz (2005) stosowali testy KS na dyskretnych danych do zgłaszania niedokładnych wartości pw meta-badaniu. Artykuł Jenga (2006) zapewnia miłą dyskusję na ten temat, a nawet pokazuje, że można zmodyfikować test KS, aby działał dla danych dyskretnych. W tym konkretnym przypadku rozróżnienie sprowadza się do różnicy między równomiernym rozkładem cyfry końcowej na [0,9], P(x)=

Można obliczyć korelację krzyżową (splot) między dwoma histogramami. To weźmie pod uwagę niewielkie tłumaczenia.