Jak obliczyć dywergencję / odległość Kullbacka-Leiblera?

Mam trzy zestawy danych X, Y i Z. Każdy zestaw danych określa częstotliwość wystąpienia zdarzenia. Na przykład:

Zestaw danych X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 itd.
Zestaw danych Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 itd.
Zestaw danych Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 i tak dalej ..

Muszę znaleźć rozbieżność KL między X i Y; oraz między X i Z. Jak widać dla niektórych zdarzeń, będą wartości 0 i niezerowe. W przypadku niektórych zdarzeń wszystkie trzy zestawy danych mają wartość 0.

Byłbym wdzięczny, gdyby ktoś mógł mi pomóc w znalezieniu dywergencji KL dla tego. Nie jestem statystyką, więc nie mam pojęcia. Samouczki, na które patrzyłem online, były dla mnie zbyt skomplikowane.

Aby odpowiedzieć na twoje pytanie, powinniśmy przypomnieć definicję dywergencji KL :

$$D_{KL}(Y||X) = \sum_{i=1}^N \ln \left( \frac{Y_i}{X_i} \right) Y_i$$

Przede wszystkim musisz przejść od tego, co masz, do rozkładów prawdopodobieństwa. W tym celu należy znormalizować swoje dane, tak aby sumowały się do jednego:

; Yi:=Y$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$ ; Zi:=Z$Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

Następnie w przypadku wartości dyskretnych mamy jedno bardzo ważne założenie, które jest potrzebne do oceny rozbieżności KL i które jest często naruszane:

powinno oznaczać Y i = 0 .$X_i = 0$$Y_i = 0$

$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

$D_{KL}(X||Y)$$D_{KL}(Y||X)$

Z praktycznego punktu widzenia mogę doradzić:

albo zwiększ swoje wydarzenia, aby mieć mniej zer

lub uzyskaj więcej danych, dzięki czemu obejrzysz nawet rzadkie zdarzenia za pomocą co najmniej jednego wpisu.

Jeśli nie możesz użyć żadnej z powyższych porad, prawdopodobnie będziesz musiał znaleźć inną metrykę między dystrybucjami. Na przykład,

$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

Mam nadzieję, że to pomoże.

Możesz ustawić \ epsilon na bardzo małą wartość 0,00001 (powiedzmy) i przejść do niezerowych wartości dla wszystkich prawdopodobieństw i obliczyć wyniki KL.

Daj mi znać, jeśli to zadziała.