To jest powtarzające się pytanie (patrz ten post , ten post i ten post ), ale mam inny obrót.
Załóżmy, że mam kilka próbek z ogólnego próbnika MCMC. Dla każdej próbki znam wartość prawdopodobieństwa dziennika i dziennika przed . Jeśli to pomaga, znam również wartość prawdopodobieństwa dziennika na punkt danych, (ta informacja pomaga w przypadku niektórych metod, takich jak WAIC i PSIS-LOO).
Chcę uzyskać (przybliżony) szacunek krańcowego prawdopodobieństwa, tylko na podstawie próbek, które mam, i ewentualnie kilku innych ocen funkcji (ale bez ponownego uruchamiania MCMC ad hoc ).
Przede wszystkim wyczyśćmy stół. Wszyscy wiemy, że estymator harmonicznych jest najgorszym estymatorem w historii . Przejdźmy dalej. Jeśli próbujesz Gibbsa z priory i posteriorami w formie zamkniętej, możesz użyć metody Chiba ; ale nie jestem pewien, jak uogólniać poza tymi przypadkami. Istnieją również metody, które wymagają zmodyfikowania procedury pobierania próbek (na przykład za pomocą temperowanych tylnych ), ale nie interesuje mnie to tutaj.
Podejście, o którym myślę, polega na aproksymacji rozkładu podstawowego parametrycznym (lub nieparametrycznym) kształcie , a następnie ustaleniu stałej normalizacyjnej jako problemu optymalizacji 1-D (tj. który minimalizuje pewien błąd między a , obliczone na próbkach). W najprostszym przypadku, załóżmy, że tył jest w przybliżeniu wielowymiarowy normalny, mogę dopasować jako wielowymiarową normalną i uzyskać coś podobnego do aproksymacji Laplace'a (mógłbym chcieć użyć kilku dodatkowych ocen funkcji w celu uściślenia pozycji tryb). Mógłbym jednak użyć jakobardziej elastyczna rodzina, taka jak wariacyjna mieszanka wielowymiarowych rozkładów .
Rozumiem, że ta metoda działa tylko wtedy, gdy jest rozsądnym przybliżeniem do , ale z jakiegokolwiek powodu lub przestrogi, dlaczego byłoby to bardzo nierozsądne Zrób to? Jakieś lektury, które poleciłbyś?
Podejście w pełni nieparametryczne wykorzystuje pewną rodzinę nieparametryczną, taką jak proces Gaussa (GP), do przybliżenia (lub kilka innych jego nieliniowych transformacji, takich jak jako pierwiastek kwadratowy) i kwadraturę bayesowską, aby pośrednio zintegrować się nad podstawowym celem (patrz tutaj i tutaj ). To wydaje się być ciekawym alternatywnym podejściem, ale analogicznym w duchu (zauważ też, że lekarze ogólni byliby niewygodni w moim przypadku).
źródło
Odpowiedzi:
Rozszerzenie autorstwa Chiba i Jeliazkowa (2001) niestety szybko staje się kosztowne lub bardzo zmienne, co powoduje, że nie jest często używane poza przypadkami próbkowania Gibbsa.
Chociaż istnieje wiele sposobów i podejść do problemu szacowania stałej normalizacji (jak ilustrują to dość różnorodne rozmowy podczas warsztatów Estimating Constant, które przeprowadziliśmy w zeszłym tygodniu na University of Warwick, dostępne tam slajdy ), niektóre rozwiązania wykorzystują bezpośrednio wyjście MCMC.Z
Jak wspomniałeś, estymator średniej harmonicznej Newtona i Raftery'ego (1994) jest prawie niezmiennie słaby z powodu nieskończonej wariancji. Istnieją jednak sposoby na uniknięcie nieskończonej klątwy wariancji poprzez użycie zamiast tego skończonego celu wsparcia w harmonicznej średniej tożsamości , wybierając jako wskaźnik regionu HPD tylnej. Zapewnia to skończoną wariancję poprzez usunięcie ogonów ze średniej harmonicznej. (Szczegóły można znaleźć w artykule, który napisałem z Darrenem Wraithem oraz w rozdziale o normalizowaniu stałych napisanym przez Jean-Michela Marina.) W skrócie, metoda przetwarza dane wyjściowe MCMC aθ1,...,θMbetagatunku(θ)F(x|θ)aθ 0 I ρZ Z -1=
Innym podejściem jest przekształcenie stałej normalizującej w parametr. Brzmi to jak herezja statystyczna, ale artykuł Guttmanna i Hyvärinena (2012) przekonał mnie do czegoś przeciwnego. Bez wnikania w szczegóły, dobrym pomysłem jest obrócenie obserwowanego prawdopodobieństwa logarytmu do wspólnego prawdopodobieństwa dziennika który jest logarytmicznym prawdopodobieństwem procesu punktu Poissona z funkcją intensywnościZ
źródło