Teoretyczna informacja o centralnym twierdzeniu granicznym

Najprostsza forma teoretycznego CLT informacji jest następująca:

Niech będą równe średniej i wariancji . Niech będzie gęstością znormalizowanej sumy a będzie standardową gęstością Gaussa. Następnie teoretyczna informacja CLT stwierdza, że ​​jeśli jest skończone dla jakiegoś n , to D (f_n \ | \ phi) \ do 0 jako n \ do \ infty .$X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

Z pewnością ta konwergencja jest w pewnym sensie „silniejsza” niż dobrze ugruntowana konwergencja w literaturze, konwergencja w dystrybucji i konwergencja w $L_1$ metryczna, dzięki nierówności Pinskera $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . Oznacza to, że zbieżność w rozbieżności KL oznacza zbieżność w rozkładzie i zbieżność w odległości $L_1$ .

Chciałbym wiedzieć dwie rzeczy.

1. Co jest takiego wspaniałego w wyniku $D(f_n\|\phi)\to 0$ ?

2. Jest to po prostu ze względu na przyczyny podanej w akapicie trzecim mówimy zbieżność w KL-dywergencji ( tj , $D(f_n\|\phi)\to 0$ ) jest silniejszy?

NB: Zadałem to pytanie jakiś czas temu w mat.stackexchange, gdzie nie otrzymałem żadnej odpowiedzi.

Jedną rzeczą, która jest świetna w przypadku tego twierdzenia, jest to, że sugeruje on twierdzenia o ograniczeniach w niektórych ustawieniach, w których zwykłe centralne twierdzenie o ograniczeniach nie mają zastosowania. Na przykład w sytuacjach, w których maksymalny rozkład entropii jest jakimś rozkładem nienormalnym, takim jak rozkłady na okręgu, sugeruje to zbieżność do rozkładu równomiernego.

Po rozejrzeniu się nie znalazłem żadnego przykładu zbieżności w rozkładzie bez zbieżności we względnej entropii, więc trudno jest zmierzyć „wielkość” tego wyniku.

Dla mnie wygląda na to, że ten wynik po prostu opisuje względną entropię produktów splotu. Jest to często postrzegane jako alternatywna interpretacja i ramy dowodowe centralnego twierdzenia granicznego i nie jestem pewien, czy ma to bezpośredni wpływ na teorię prawdopodobieństwa (nawet jeśli ma to miejsce w teorii informacji).

Z teorii informacji i centralnego twierdzenia granicznego (strona 19).

Druga zasada termodynamiki mówi, że entropia termodynamiczna zawsze wzrasta z czasem, co sugeruje pewną zbieżność ze stanem Gibbsa. Zachowanie energii oznacza, że pozostaje stała podczas tej ewolucji czasu, więc możemy od początku stwierdzić, który stan Gibbsa będzie granicą. W ten sam sposób będziemy traktować Centralne Twierdzenie Graniczne, pokazując, że entropia teoretyczna informacji wzrasta do maksimum, gdy przyjmujemy sploty, co sugeruje zbieżność z Gaussa. Odpowiednia normalizacja oznacza, że ​​wariancja pozostaje stała podczas zwojów, dzięki czemu możemy od początku stwierdzić, który Gaussian będzie granicą.$E$

$D(f_n\|\phi)\rightarrow 0$ zapewnia, że ​​nie ma „odległości” między rozkładem sumy zmiennych losowych a gęstością gaussa jako tylko ze względu na definicję rozbieżności KL, więc jest to dowód samo. Być może źle zrozumiałem twoje pytanie.$n\rightarrow\infty$

O drugim punkcie, który wyznaczyłeś, odpowiedział w akapicie.