Właśnie czytałem trochę na temat próbkowania Gibbsa i algorytmu Metropolis Hastings i mam kilka pytań.
Jak rozumiem, w przypadku próbkowania Gibbsa, jeśli mamy duży problem wielowymiarowy, próbkujemy z rozkładu warunkowego, tj. Próbkujemy jedną zmienną, utrzymując wszystkie pozostałe w stałym, podczas gdy w MH próbkujemy z pełnego wspólnego rozkładu.
Jedną rzeczą, o której mówi ten dokument, jest to, że proponowana próbka jest zawsze akceptowana w Próbkowaniu Gibbsa, tzn. Współczynnik akceptacji propozycji wynosi zawsze 1. Dla mnie wydaje się to dużą zaletą, ponieważ w przypadku dużych problemów wielowymiarowych wydaje się, że współczynnik odrzucania dla algorytmu MH staje się dość duży . Jeśli tak jest w rzeczywistości, jaki jest powód niestosowania Gibbs Sampler przez cały czas do generowania rozkładu tylnego?
Odpowiedzi:
główne uzasadnienie zastosowania algorytmu Metropolis polega na tym, że można go używać nawet wtedy, gdy wynikowy tył jest nieznany. W przypadku próbkowania Gibbsa musisz znać rozkłady tylne, z których rysujesz, jest zmienny.
źródło
Próbkowanie Gibbsa przełamuje klątwę wymiarowości podczas próbkowania, ponieważ podzieliłeś przestrzeń parametrów (być może wysoko wymiarową) na kilka nisko wymiarowych kroków. Metropolis-Hastings łagodzi niektóre problemy wymiarowe związane z generowaniem technik próbkowania odrzucania, ale nadal próbujesz z pełnego zróżnicowanego rozkładu (i decydujesz się zaakceptować / odrzucić próbkę), co powoduje, że algorytm cierpi na przekleństwo wymiarowości.
Pomyśl o tym w ten uproszczony sposób: o wiele łatwiej jest zaproponować aktualizację dla jednej zmiennej na raz (Gibbs) niż dla wszystkich zmiennych jednocześnie (Metropolis Hastings).
Biorąc to pod uwagę, wymiarowość przestrzeni parametrów nadal będzie wpływać na zbieżność zarówno w Gibbs, jak i Metropolis Hastings, ponieważ istnieje więcej parametrów, które potencjalnie nie mogą się zbiegać.
Gibbs jest również miły, ponieważ każdy krok pętli Gibbs może być w formie zamkniętej. Często dzieje się tak w modelach hierarchicznych, w których każdy parametr jest uwarunkowany tylko kilkoma innymi. Konstruowanie modelu często jest dość proste, tak aby każdy krok Gibbsa był w formie zamkniętej (gdy każdy krok jest koniugatem, czasami nazywany jest „półkoniugatem”). Jest to miłe, ponieważ próbujesz ze znanych dystrybucji, które często mogą być bardzo szybkie.
źródło