Masz pytania dotyczące dywergencji KL?

Porównuję dwie rozkłady z rozbieżnością KL, która zwraca mi niestandaryzowaną liczbę, która zgodnie z tym, co czytam o tej mierze, jest ilością informacji potrzebną do przekształcenia jednej hipotezy w drugą. Mam dwa pytania:

a) Czy istnieje sposób kwantyfikacji dywergencji KL, aby miał bardziej sensowną interpretację, np. wielkość efektu lub R ^ 2? Każda forma standaryzacji?

b) W R, używając KLdiv (pakiet flexmix), można ustawić wartość „esp” (standard esp = 1e-4), która ustawia wszystkie punkty mniejsze niż esp do pewnego standardu w celu zapewnienia stabilności liczbowej. Bawiłem się różnymi wartościami esp i dla mojego zestawu danych otrzymuję coraz większą dywergencję KL, im mniejszą liczbę wybieram. Co się dzieje? Spodziewałbym się, że im mniejszy esp, tym bardziej wiarygodne powinny być wyniki, ponieważ pozwalają one na włączenie większej liczby „rzeczywistych wartości” do statystyki. Nie? Muszę zmienić esp, ponieważ inaczej nie oblicza statystyki, ale po prostu pokazuje się jako NA w tabeli wyników ...

Załóżmy, że podano n próbek IID wygenerowanych przez p lub q. Chcesz określić, która dystrybucja je wygenerowała. Przyjmij jako hipotezę zerową, że zostały one wygenerowane przez q. Niech wskaże prawdopodobieństwo błędu typu I, błędnie odrzucając hipotezę zerową, a b wskaże prawdopodobieństwo błędu typu II.

Zatem dla dużego n prawdopodobieństwo błędu typu I wynosi co najmniej

$\exp(-n \text{KL}(p,q))$

Innymi słowy, dla „optymalnej” procedury decyzyjnej prawdopodobieństwo typu I spada co najwyżej o współczynnik exp (KL (p, q)) z każdym punktem danych. Błąd typu II spada o współczynnik $\exp(\text{KL}(q,p))$ co najwyżej .

Dla dowolnego n, a i b są powiązane w następujący sposób

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

i

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

Jeśli wyrażymy powyższą granicę jako dolną granicę w kategoriach b i KL i zmniejszymy b do 0, wynik wydaje się zbliżać do granicy „exp (-n KL (q, p))” nawet dla małego n

Więcej informacji na stronie 10 tutaj oraz na stronach 74-77 „Teorii informacji i statystyki” Kullbacka (1978).

Na marginesie, ta interpretacja może być wykorzystana do zmotywowania metryki Informacji Fishera, ponieważ dla dowolnej pary rozkładów p, q w odległości k Fisher od siebie (mała k) potrzebujesz tej samej liczby obserwacji, aby je rozdzielić

KL ma głębokie znaczenie, gdy wizualizujesz zestaw zębów jako kolektor w tensorze metrycznym Fishera, daje on odległość geodezyjną między dwoma „bliskimi” rozkładami. Formalnie:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Poniższe wiersze mają wyjaśnić szczegółowo, co należy rozumieć przez te matematyczne formuły.

Definicja metryki Fishera.

Rozważ sparametryzowaną rodzinę rozkładów prawdopodobieństwa (daną przez gęstości w R n ), gdzie x jest zmienną losową, a theta jest parametrem w R p . Wszyscy możecie wiedzieć, że macierz informacji Fishera F = ( F i j ) jest$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

Z tą notacją jest kolektorem riemannowskim, a F ( θ $D$$F(\theta)$ jest tensorem metrycznym Riemanniana. (Zainteresowanie tą metryką wyraża twierdzenie Cramera Rao o dolnej granicy)

Możesz powiedzieć ... OK abstrakcja matematyczna, ale gdzie jest KL?

To nie jest abstrakcja matematyczna, jeśli można naprawdę wyobrazić sobie sparametryzowaną gęstość jako krzywą (zamiast podzbioru przestrzeni o nieskończonym wymiarze), a F 11 jest połączony z krzywizną tej krzywej ... (patrz seminarium dokument Bradley Efron http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176343282 )$p=1$$F_{11}$

Geometryczna odpowiedź na część punktu a / w twoim pytaniu: kwadratowa odległość między dwoma (bliskimi) rozkładami p ( x , θ ) i p ( x , θ + d θ ) na kolektorze (pomyśl o odległości geodezyjnej na Ziemia dwóch bliskich punktów, jest związana z krzywizną ziemi) jest podana przez formę kwadratową:$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

i wiadomo, że jest to podwójna dywergencja Kullbacka Leiblera:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Jeśli chcesz dowiedzieć się więcej na ten temat, proponuję przeczytać artykuł Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (Myślę, że jest też książka Amari o geometria riemanniana w statystyce, ale nie pamiętam nazwy)

Rozbieżność KL (p, q) między rozkładami p (.) I q (.) Ma intuicyjną interpretację teorii informacji, która może okazać się przydatna.

Załóżmy, że obserwujemy dane x wygenerowane przez pewien rozkład prawdopodobieństwa p (.). Dolna granica średniej długości kodu w bitach wymagana do stwierdzenia danych generowanych przez p (.) Jest określona przez entropię p (.).

Ponieważ nie znamy p (.), Wybieramy inną dystrybucję, powiedzmy q (.), Aby zakodować (lub opisać, podać) dane. Średnia długość kodu danych generowanych przez p (.) I kodowanych za pomocą q (.) Będzie koniecznie dłuższa niż w przypadku zastosowania do kodowania rzeczywistego rozkładu p (.). Rozbieżność KL mówi nam o nieefektywności tego alternatywnego kodu. Innymi słowy, rozbieżność KL między p (.) A q (.) Jest średnią liczbą dodatkowych bitów wymaganych do kodowania danych generowanych przez p (.) Z wykorzystaniem rozkładu kodowania q (.). Rozbieżność KL jest nieujemna i równa zeru, jeżeli do zakodowania danych wykorzystywany jest faktyczny rozkład generowania danych.

W części (b) pytania możesz mieć problem z gęstością jednej z dystrybucji w regionie, w którym nie ma drugiej.

Różni się to, jeśli istnieje $i$ gdzie $p_i>0$ i $q_i=0$. Numeryczny epsilon w implementacji R „ratuje” cię przed tym problemem; ale oznacza to, że wynikowa wartość zależy od tego parametru (technicznie$q_i=0$ nie jest wymagane, tylko to $q_i$ jest mniejsza niż epsilon numeryczny).