Natknąłem się na obszerną literaturę, która opowiada się za wykorzystaniem metryki Informacji Fishera jako naturalnej metryki lokalnej w przestrzeni rozkładów prawdopodobieństwa, a następnie integracji jej w celu określenia odległości i objętości.
Ale czy te „zintegrowane” ilości są rzeczywiście przydatne do czegoś? Nie znalazłem teoretycznych uzasadnień i bardzo mało praktycznych zastosowań. Jednym z nich jest praca Guya Lebanona, w której używa „odległości Fishera” do klasyfikacji dokumentów, a druga to ABC wyboru modelu Rodrigueza … gdzie „ Wybór Fishera” jest używany do wyboru modelu. Najwyraźniej użycie „ilości informacji” daje poprawę „rzędu wielkości” w porównaniu z AIC i BIC do wyboru modelu, ale nie widziałem żadnych dalszych działań w związku z tą pracą.
Teoretycznym uzasadnieniem może być ograniczenie uogólnienia, które korzysta z tej miary odległości lub objętości i jest lepsze niż ograniczenia wyprowadzone z MDL lub argumentów asymptotycznych, lub metoda polegająca na jednej z tych wielkości, która jest o wiele lepsza w pewnej rozsądnie praktycznej sytuacji, czy istnieją jakieś wyniki tego rodzaju?
źródło
Odpowiedzi:
W zeszłym tygodniu w Królewskim Towarzystwie Statystycznym czytano artykuł na temat technik MCMC na temat rozmaitości Riemanna, wykorzystując przede wszystkim dane informacyjne Fishera: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting
Wyniki wydają się obiecujące, choć, jak zauważają autorzy, w wielu interesujących modelach (takich jak modele mieszane) informacja Fishera nie ma formy analitycznej.
źródło
Najbardziej znanym argumentem jest to, że metryka Fishera, będąca niezmienną w celu koordynowania transformacji, może być wykorzystana do sformułowania niedoinformowanego przeora (wcześniej Jeffreys). Nie jestem pewien, czy to kupię!
Mniej znane jest to, że czasami te „zintegrowane wielkości” okazują się rozbieżnościami i takie, można argumentować, że odległości Fishera generują uogólniony zestaw rozbieżności (i ich właściwości).
Ale wciąż muszę znaleźć dobry intuicyjny opis informacji o rybaku i generowanych przez niego ilości. Poinformuj mnie, jeśli znajdziesz.
źródło
Powodem, dla którego nie ma „żadnych działań następczych”, jest fakt, że bardzo niewiele osób rozumie pracę Rodrigueza, która trwa od wielu lat. To ważne rzeczy i zobaczymy ich więcej w przyszłości, jestem pewien.
Jednak niektórzy twierdzą, że metryka Fishera jest jedynie przybliżeniem drugiego rzędu do prawdziwej metryki (np . Praca Neumanna na temat ustalania priorów entropijnych ), która jest faktycznie zdefiniowana przez odległość Kullbacka-Lieblera (lub jej uogólnienia) i która prowadzi do sformułowania przez Zellnera MDI priors.
źródło