Używanie geometrii informacji do definiowania odległości i objętości… przydatne?

13

Natknąłem się na obszerną literaturę, która opowiada się za wykorzystaniem metryki Informacji Fishera jako naturalnej metryki lokalnej w przestrzeni rozkładów prawdopodobieństwa, a następnie integracji jej w celu określenia odległości i objętości.

Ale czy te „zintegrowane” ilości są rzeczywiście przydatne do czegoś? Nie znalazłem teoretycznych uzasadnień i bardzo mało praktycznych zastosowań. Jednym z nich jest praca Guya Lebanona, w której używa „odległości Fishera” do klasyfikacji dokumentów, a druga to ABC wyboru modelu Rodrigueza gdzie „ Wybór Fishera” jest używany do wyboru modelu. Najwyraźniej użycie „ilości informacji” daje poprawę „rzędu wielkości” w porównaniu z AIC i BIC do wyboru modelu, ale nie widziałem żadnych dalszych działań w związku z tą pracą.

Teoretycznym uzasadnieniem może być ograniczenie uogólnienia, które korzysta z tej miary odległości lub objętości i jest lepsze niż ograniczenia wyprowadzone z MDL lub argumentów asymptotycznych, lub metoda polegająca na jednej z tych wielkości, która jest o wiele lepsza w pewnej rozsądnie praktycznej sytuacji, czy istnieją jakieś wyniki tego rodzaju?

Jarosław Bułatow
źródło
Informacje Fishera dają dolną granicę w szacowaniu parametrów. Jest to metryka naturalna, ponieważ z grubsza mówi coś w rodzaju „w tym kierunku trudność mojego problemu nie może się bardziej zmniejszyć”. To, co nazywacie granicami uogólnienia, to górne granice? czy chcesz poznać skuteczność metody wykorzystującej pomiar Fishera (wspomniana duża treść to dobra lista)? przepraszam, ale tak naprawdę nie otrzymuję pytania :) czy możesz przeformułować ten punkt?
robin girard
Powiedzmy, że macierz informacji Fishera daje nam tensor metryczny Riemanniana. Pozwala nam znaleźć długość dowolnej krzywej poprzez całkowanie. Następnie definiujesz odległość między p i q jako najmniejszą długość łuku na wszystkich krzywych łączących p i q. O to odległość, o którą pytam. To samo z głośnością.
Yaroslav Bulatov
1
Tak więc, jako przykład, Rodriguez uzyskuje znaczną poprawę dzięki zastosowaniu „objętości informacji” jako miary złożoności modelu, ale nieoczekiwanie nie widzę, żeby ktoś inny tego próbował
Jarosław Bułatow

Odpowiedzi:

5

W zeszłym tygodniu w Królewskim Towarzystwie Statystycznym czytano artykuł na temat technik MCMC na temat rozmaitości Riemanna, wykorzystując przede wszystkim dane informacyjne Fishera: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Wyniki wydają się obiecujące, choć, jak zauważają autorzy, w wielu interesujących modelach (takich jak modele mieszane) informacja Fishera nie ma formy analitycznej.

Simon Byrne
źródło
1
Czy to gazeta „Riemann manifold Langevin”? Czy w którymś momencie zintegrujesz informacje Fishera?
Yaroslav Bulatov
4

Najbardziej znanym argumentem jest to, że metryka Fishera, będąca niezmienną w celu koordynowania transformacji, może być wykorzystana do sformułowania niedoinformowanego przeora (wcześniej Jeffreys). Nie jestem pewien, czy to kupię!

Mniej znane jest to, że czasami te „zintegrowane wielkości” okazują się rozbieżnościami i takie, można argumentować, że odległości Fishera generują uogólniony zestaw rozbieżności (i ich właściwości).

Ale wciąż muszę znaleźć dobry intuicyjny opis informacji o rybaku i generowanych przez niego ilości. Poinformuj mnie, jeśli znajdziesz.

Lucas
źródło
Wiele informacji o Fisher Information jest znanych, nie jestem pewien, czy są to integralne informacje o Fisher. Nie wiem, co mówisz o Fisher Information, która zmienia się w jakąś znaną rozbieżność w integracji
Jarosław Bułatow
4

Powodem, dla którego nie ma „żadnych działań następczych”, jest fakt, że bardzo niewiele osób rozumie pracę Rodrigueza, która trwa od wielu lat. To ważne rzeczy i zobaczymy ich więcej w przyszłości, jestem pewien.

Jednak niektórzy twierdzą, że metryka Fishera jest jedynie przybliżeniem drugiego rzędu do prawdziwej metryki (np . Praca Neumanna na temat ustalania priorów entropijnych ), która jest faktycznie zdefiniowana przez odległość Kullbacka-Lieblera (lub jej uogólnienia) i która prowadzi do sformułowania przez Zellnera MDI priors.

Michael
źródło