Czy istnieje jakaś odległość prawdopodobieństwa, która zachowuje wszystkie właściwości metryki?

13

Badając odległość Kullbacka – Leiblera, bardzo szybko dowiadujemy się dwóch rzeczy, że nie szanuje ani nierówności trójkąta, ani symetrii, wymaganych właściwości metryki.

Moje pytanie dotyczy tego, czy istnieje metryka funkcji gęstości prawdopodobieństwa, która spełnia wszystkie ograniczenia metryki .

distributions distance metric Jorge Leitao
źródło
Skupienie się na gęstości prawdopodobieństwa jest skupieniem się na „złym” obiekcie. Jeśli chodzi o metryki, istnieją te „klasyczne”, np. Lévy (i powiązana metryka Ky Fan na zmiennych losowych), Wasserstein oraz te bliższe duchem KL, np. Dywergencja Jensena-Shannona . Choć przeważnie pomijane historycznie należy pamiętać, że w oryginalnym papierze KL The rozbieżność KL rzeczywiście był symetryczny (choć nadal nie metryki).
kardynał
1
@ kardynał, cóż, nie jestem zbytnio w terenie, czy możesz zasugerować „właściwy” obiekt?
Jorge Leitao
2
JC: Przepraszam, pole komentarza stało się za małe na wszystko, co próbowałem tam zmieścić. Powinienem był opracować. Funkcja skumulowanego rozkładu okazuje się bardziej ogólnym i naturalnym przedmiotem badań. :-)
kardynał
@ kardynał dlaczego? ;)
Jorge Leitao

Odpowiedzi:

19

L2

John Jiang
źródło
2
To dobry papier - szczególnie rysunek 1. Zapisuję jego kopię na przyszłość.
Pat
1

Istnieją pewne modyfikacje dywergencji KL, które powodują, że nabywa ona niektóre właściwości metryki (choć nie wszystkie).

Na przykład dywergencja Jeffreya modyfikuje dywergencję KL, aby była symetryczna.

Istnieją pewne szczególne przypadki, patrz [1]: „Niestety, tradycyjne miary oparte na dywergencji Kullbacka – Leiblera (KL) i odległości Bhattacharyya nie spełniają wszystkich aksjomatów metrycznych niezbędnych dla wielu algorytmów. W tym artykule proponujemy modyfikację KL rozbieżność i odległość Bhattacharyya dla wielowymiarowych gęstości Gaussa, które przekształcają te dwie miary w wskaźniki odległości ”.

[1] K. Abou-Moustafa i F. Ferrie, „Nota o właściwościach metrycznych niektórych miar rozbieżności: przypadek Gaussa”, JMLR: Workshop and Conference Proceedings 25: 1–15, 2012.

użytkownik29652
źródło