Czy można zastosować rozbieżność KL między rozkładem dyskretnym a ciągłym?

Nie jestem matematykiem. Przeszukałem internet o dywergencji KL. Nauczyłem się, że dywergencja KL mierzy utracone informacje, gdy przybliżamy rozkład modelu w odniesieniu do rozkładu wejściowego. Widziałem je między dowolnymi dwoma ciągłymi lub dyskretnymi rozkładami. Czy możemy to zrobić między ciągłym a dyskretnym lub odwrotnie?

Nie: Rozbieżność KL jest definiowana tylko dla rozkładów na wspólnej przestrzeni. Pyta o gęstość prawdopodobieństwa punktu przy dwóch różnych rozkładach, i . Jeśli jest rozkładem na a rozkładem na , to nie ma sensu dla punktów i nie ma sensu dla punktów . W rzeczywistości nie możemy tego zrobić nawet dla dwóch ciągłych rozkładów w przestrzeniach o różnych wymiarach (lub dyskretnych, ani w żadnym innym przypadku, gdy leżące u podstaw przestrzenie prawdopodobieństwa nie pasują).$x$$p(x)$$q(x)$$p$$\mathbb{R}^3$$q$$\mathbb{Z}$$q(x)$$p \in \mathbb{R}^3$$p(z)$$z \in \mathbb{Z}$

Jeśli masz na myśli konkretny przypadek, być może uda ci się wymyślić podobny podobieństwo miary między dystrybucjami. Na przykład sensowne może być zakodowanie ciągłego rozkładu pod kodem dla kodu dyskretnego (oczywiście z utraconą informacją), np. Przez zaokrąglenie do najbliższego punktu w przypadku dyskretnym.

Tak, rozbieżność KL między ciągłymi a dyskretnymi zmiennymi losowymi jest dobrze zdefiniowana. Jeśli i są rozkładami na jakiejś przestrzeni , to zarówno jak i mają gęstości , względem i $P$$Q$$\mathbb{X}$$P$$Q$$f$$g$$\mu = P+Q$

Na przykład, jeśli , jest miarą Lebesgue'a, a jest masą punktową przy , to , i$\mathbb{X} = [0,1]$$P$$Q = \delta_0$$0$$f(x) = 1-\mathbb{1}_{x=0}$$g(x) = \mathbb{1}_{x=0}$

Nie ogólnie. Rozbieżność KL jest

pod warunkiem że $P$ jest absolutnie ciągły w odniesieniu do $Q$ i oboje $P$ i $Q$ są $\sigma$- skończony (tj. w warunkach, w których $\frac{dP}{dQ}$ jest dobrze zdefiniowany).

W przypadku „ciągłej do dyskretnej” rozbieżności KL między miarami w jakiejś zwykłej przestrzeni, masz przypadek, w którym miara Lebesgue'a jest absolutnie ciągła w odniesieniu do miary liczenia, ale miara liczenia nie jest $\sigma$-skończone.