Związek między miernikiem Fishera a względną entropią

Czy ktoś może udowodnić następujący związek między wskaźnikiem informacji Fishera a względną entropią (lub dywergencją KL) w czysto matematyczny, rygorystyczny sposób?

$$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$$ gdzie $a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ , $$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$$ i $g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ jest konwencją sumowania Einsteina.

Znalazłem powyższe na ładnym blogu Johna Baeza, gdzie Vasileios Anagnostopoulos mówi o tym w komentarzach.

W 1946 r. Geofizyk i statystyki bayesowskie Harold Jeffreys wprowadzili to, co dziś nazywamy rozbieżnością Kullbacka-Leiblera, i odkryli, że dla dwóch dystrybucji, które są „nieskończenie blisko” (miejmy nadzieję, że chłopaki Math SE tego nie widzą ;-) możemy napisać ich rozbieżność Kullbacka-Leiblera jako postać kwadratowa, której współczynniki są podane przez elementy macierzy informacji Fishera. Zinterpretował tę kwadratową formę jako element długości rozmaitości Riemanniana, przy czym informacja Fishera odgrywa rolę metryki Riemanniana. Na podstawie tej geometrii modelu statystycznego wyliczył wcześniejszy Jeffreysa jako miarę naturalnie indukowaną przez metrykę Riemanniana, a miara ta może być interpretowana jako samoistnie jednorodny rozkład na rozmaitości, chociaż generalnie nie jest to miara skończona.

Aby napisać dokładny dowód, musisz dostrzec wszystkie warunki prawidłowości i zadbać o porządek terminów błędów w rozszerzeniach Taylora. Oto krótki szkic argumentu.

Symetryczna rozbieżność Kullbacka-Leiblera między dwoma gęstościami $f$ i $g$ jest zdefiniowana jako

$$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$$

Jeśli mamy rodzinę gęstości sparametryzowaną przez $\theta=(\theta_1,\dots,\theta_k)$ , to

$$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$$ w którym$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$ . Wprowadzenie zapisu $$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$$ jakaś prosta algebra daje $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$$ Używając rozszerzenia Taylora dla logarytmu naturalnego, mamy $$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$$ a zatem $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$$ Ale $$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$$ Stąd $$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$$ w którym $$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$$

To jest oryginalny papier:

Jeffreys, H. (1946). Niezmienna forma dla wcześniejszego prawdopodobieństwa w problemach z oszacowaniem. Proc. Royal Soc. z Londynu, seria A, 186, 453–461.

Dowód zwykłej (niesymetrycznej) dywergencji KL

Odpowiedź Zen wykorzystuje symetryczną dywergencję KL, ale wynik ma również zwykłą formę, ponieważ staje się symetryczny dla nieskończenie bliskich rozkładów.

$\theta$

$$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$$ $$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$$ Assuming some regularities, I have used the two results: $$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$$

$$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$$

You can find a similar relationship (for a one-dimensional parameter) in equation (3) of the following paper

D. Guo (2009), Relative Entropy and Score Function: New Information–Estimation Relationships through Arbitrary Additive Perturbation, in Proc. IEEE International Symposium on Information Theory, 814–818. (stable link).

The authors refer to

S. Kullback, Information Theory and Statistics. New York: Dover, 1968.

for a proof of this result.