Współczynnik Bhattacharyya jest zdefiniowana jako i mogą być włączone w odległości jak który nazywa się odległością Hellingera . Związek między tą odległością Hellingera a dywergencją Kullbacka-Leiblera to
DB(p,q)=∫p(x)q(x)−−−−−−−√dx
dH(p,q)dH(p,q)={1−DB(p,q)}1/2
dKL(p∥q)≥2d2H(p,q)=2{1−DB(p,q)}.
Nie jest to jednak pytanie: jeśli odległość Bhattacharyya jest zdefiniowana jako
dB(p,q)=def−logDB(p,q),
to
dB(p,q)=−logDB(p,q)=−log∫p(x)q(x)−−−−−−−√dx=def−log∫h(x)dx=−log∫h(x)p(x)p(x)dx≤∫−log{h(x)p(x)}p(x)dx=∫−12log{h2(x)p2(x)}p(x)dx=∫−12log{q(x)p(x)}p(x)dx=12dKL(p∥q)
Stąd nierówność między te dwie odległości to
dKL(p∥q)≥2dB(p,q).
Można się zatem zastanawiać, czy ta nierówność wynika z pierwszej. Zdarza się wręcz przeciwnie: ponieważ
−log(x)≥1−x0≤x≤1,
mamy pełne zamówienie
dKL(p∥q)≥2dB(p,q)≥2dH(p,q)2.
Nie znam żadnej wyraźnej relacji między nimi, ale postanowiłem szybko ich poklepać, aby zobaczyć, co mogę znaleźć. Więc to nie jest duża odpowiedź, ale bardziej interesujący punkt.
Dla uproszczenia, popracujmy nad dyskretnymi rozkładami. Możemy zapisać odległość BC jako
i rozbieżność KL jako
Teraz nie możemy wcisnąć dziennika do sumy na odległość , więc spróbujmy wyciągnąć dziennik na zewnątrz rozbieżności :BC KL
Rozważmy ich zachowanie, gdy jest ustalone, jako rozkład równomierny na możliwości:p n
Po lewej mamy log czegoś podobnego w formie do średniej geometrycznej . Po prawej stronie mamy coś podobnego do logarytmu średniej arytmetycznej . Jak powiedziałem, nie jest to duża odpowiedź, ale myślę, że daje to intuicyjną intuicję, w jaki sposób odległość BC i dywergencja KL reagują na odchylenia między i .p q
źródło