Interpretacja pochodnej Radon-Nikodym między miarami prawdopodobieństwa?

W niektórych momentach widziałem zastosowanie pochodnej Radona-Nikodyma jednej miary prawdopodobieństwa w stosunku do drugiej, szczególnie w dywergencji Kullbacka-Leiblera, gdzie jest to pochodna miary prawdopodobieństwa modelu dla jakiegoś dowolnego parametru w odniesieniu do rzeczywistego parametru :θ $\theta$$\theta_0$

$$\frac {dP_\theta}{dP_{\theta_0}}$$

Gdzie są to oba miary prawdopodobieństwa w przestrzeni punktów danych, zależne od wartości parametru: .$P_\theta(D)=P(D|\theta)$

Jaka jest interpretacja takiej pochodnej Radon-Nikodym w rozbieżności Kullbacka-Leiblera, czy bardziej ogólnie między dwiema miarami prawdopodobieństwa?

Po pierwsze, nie potrzebujemy miar prawdopodobieństwa, tylko -finiteness. Więc jest mierzalny pole i i być -finite środki o .M = ( Ω , F ) μ ν σ $\sigma$$\mathcal M = (\Omega, \mathscr F)$$\mu$$\nu$$\sigma$$\mathcal M$

Twierdzenie Radona-Nikodyma stwierdza, że ​​jeśli dla wszystkich , oznaczonych przez , to istnieje nieujemna Borel funkcja w taki sposób, dla wszystkich .A ∈ F μ ≫ ν f ν ( A ) = ∫ A$\mu(A) = 0 \implies \nu(A) = 0$$A \in \mathscr F$$\mu \gg \nu$$f$A ∈

$$\nu(A) = \int_A f \,\text d\mu$$ $A \in \mathscr F$

Oto jak lubię o tym myśleć. Po pierwsze, dla dowolnych dwóch miar na , zdefiniujmy aby oznaczać . Jest to poprawna relacja równoważności i mówimy, że i są równoważne w tym przypadku. Dlaczego jest to rozsądna równoważność środków? Miary są tylko funkcjami, ale ich domeny trudno wizualizować. Co jeśli dwie zwykłe funkcje mają tę właściwość, tj. ? Zdefiniuj i zwróć uwagę, że w dowolnym miejscu na wsparcie μ ∼ ν μ ( A ) = $\mathcal M$$\mu \sim \nu$μ ν f , g : R → R f ( x ) = $\mu(A) = 0 \iff \nu(A) = 0$$\mu$$\nu$$f, g :\mathbb R \to \mathbb R$h ( x ) = { f ( x ) / g ( x ) g ( x ) ≠ 0 π e o.w. g g H = f g g h = 0 ⋅ π e = 0 = f f g h g F 0 / 0 g = 0 H π $f(x) = 0 \iff g(x) = 0$

$$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$$ $g$ mamy , a poza obsługą (ponieważ współużytkują i ), więc pozwala przeskalować do . Jak wskazuje @whuber, kluczową ideą tutaj nie jest to, że jest w jakiś sposób „bezpieczne” do zrobienia lub zignorowania, ale raczej, gdy , nie ma znaczenia, co robi , więc możemy po prostu zdefiniować to dowolnie (jak być co nie ma tutaj specjalnego znaczenia) i rzeczy nadal działają. Również w tym przypadku możemy zdefiniować analogiczną funkcję pomocą , aby$gh = f$$g$ $gh = 0 \cdot \pi^e = 0 = f$$f$$g$$h$$g$$f$$0/0$$g = 0$$h$$\pi^e$ g / f f h ′ = $h'$$g / f$$fh' = g$ .

Następnie załóżmy, że , ale drugi kierunek niekoniecznie się utrzymuje. Oznacza to, że nasza poprzednia definicja nadal działa, ale teraz nie działa, ponieważ będzie miał rzeczywiste podziały przez . Zatem możemy przeskalować do za pomocą , ale nie możemy iść w innym kierunku, ponieważ musielibyśmy przeskalować coś na coś niezerowego.h h ′ 0 g f g h = f $g(x) = 0 \implies f(x) = 0$$h$$h'$$0$$g$$f$$gh = f$$0$

Wróćmy teraz do i i oznaczmy nasz RND przez . Jeśli , oznacza to intuicyjnie, że można przeskalować jedno na drugie i odwrotnie. Ale generalnie chcemy iść tylko w jednym kierunku (tj. Przeskalować miłą miarę, taką jak miara Lebesgue'a, na bardziej abstrakcyjną miarę), więc potrzebujemy tylko aby zrobić użyteczne rzeczy. To przeskalowanie jest sercem RND.ν f μ ∼ ν μ ≫ $\mu$$\nu$$f$$\mu \sim \nu$$\mu \gg \nu$

Wracając do komentarza @ whuber w komentarzach, istnieje dodatkowa subtelność, dlaczego bezpiecznie zignorować kwestię . Dzieje się tak, ponieważ przy pomocy miar zawsze definiujemy rzeczy do zbioru miary więc na każdym zestawie z możemy po prostu sprawić, aby nasz RND przyjmował dowolną wartość, powiedzmy . Więc nie jest tak, że jest iskrobezpieczne, ale raczej gdziekolwiek, gdzie mielibyśmy to zestaw miar wrt dzięki czemu możemy po prostu zdefiniować nasze RND, aby było tam coś miłego bez wpływu na nic.0 μ ( ) = 0 1 0 / 0 0 / 0 0 $0/0$$0$$A$$\mu(A) = 0$$1$$0/0$$0/0$$0$$\mu$

Jako przykład załóżmy, że dla niektórych . Następnie więc mamy to RND (można to formalnie uzasadnić twierdzeniem o zmianie miar). Jest to dobre, ponieważ dokładnie odzyskaliśmy współczynnik skalowania.k > 0 ν ( A ) = ∫$k \cdot \mu = \nu$$k > 0$f ( x ) = k = d

$$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$$ $f(x) = k = \frac{\text d\nu}{\text d\mu}$

Oto drugi przykład, aby podkreślić, jak zmiana RND na zestawach miary nie ma na nie wpływu. Niech , to znaczy jest to średnia normalne PDF oraz , gdy wejście jest racjonalne i niech być RV tej gęstości. Oznacza to, że więc w rzeczywistości jest nadal standardowym gaussowskim RV. Nie wpłynęło to w żaden sposób na zmianę na ponieważ jest to zestaw miary wrtf ( x ) = φ ( x ) + 1 Q ( x ) 1 X P ( X ∈ A ) = ∫ A ( φ + 1 Q$0$$f(x) = \varphi(x) + 1_{\mathbb Q}(x)$$1$$X$= ∫ A

$$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$$ X X Q 0 $$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$$ $X$$X$$\mathbb Q$$0$$\lambda$ .

W ostatnim przykładzie, załóżmy, i i pozwolić i być odpowiednio ich dystrybucji. Przypomnijmy, że pmf jest RND w odniesieniu do miary liczenia , a ponieważ ma właściwość, że , okazuje się, że Y ∼ Bin ( n , p ) P X P Y c c c ( A ) = $X \sim \text{Pois}(\eta)$$Y \sim \text{Bin}(n, p)$$P_X$$P_Y$$c$$c$d P $c(A) = 0 \iff A = \emptyset$

$$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$$

więc możemy obliczyć

$$P_Y(A) = \int_A \,\text dP_Y$$ $$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$$ $$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$$

Dlatego, ponieważ dla wszystkich poparciu , możemy przeskalować całkowanie w odniesieniu do rozkładu Poissona w integrację w odniesieniu do rozkładu dwumianowego, chociaż ponieważ wszystko jest dyskretne, okazuje się, że jest trywialne wynik.$P(X = n) > 0$$n$$Y$

---

Odniosłem się do twojego bardziej ogólnego pytania, ale nie dotknąłem rozbieżności KL. Dla mnie przynajmniej rozbieżność KL jest znacznie łatwiejsza do interpretacji pod względem testowania hipotez, takich jak odpowiedź @kjetil b halvorsen tutaj . Jeśli i istnieje miara która dominuje w obu przypadkach, wówczas użyj możemy odzyskać formę z gęstością, więc dla mnie jest to łatwiejsze.$P \ll Q$$\mu$$\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$