Skąd pochodzą pełne warunki warunkowe w próbkowaniu Gibbsa?

Algorytmy MCMC, takie jak próbkowanie Metropolis-Hastings i Gibbs, są sposobami próbkowania ze wspólnych rozkładów tylnych.

Wydaje mi się, że rozumiem i potrafię dość łatwo wdrożyć pospieszanie metropolii - po prostu wybierasz punkty początkowe i „chodzisz po przestrzeni parametrów” losowo, kierując się gęstością a posteriori i gęstością propozycji. Próbkowanie Gibbsa wydaje się bardzo podobne, ale bardziej wydajne, ponieważ aktualizuje tylko jeden parametr na raz, utrzymując pozostałe na stałym poziomie, skutecznie chodząc po przestrzeni w ortogonalny sposób.

Aby to zrobić, potrzebujesz pełnego warunku każdego parametru w trybie analitycznym od *. Ale skąd pochodzą te pełne warunki warunkowe? Aby uzyskać mianownik, należy zmarginalizować połączenie ponad . Wydaje się, że jest dużo pracy do wykonania analitycznego, jeśli istnieje wiele parametrów, i może nie być wykonalny, jeśli wspólny rozkład nie jest zbyt „miły”. Zdaję sobie sprawę, że jeśli używasz koniugacji w całym modelu, pełne warunki warunkowe mogą być łatwe, ale musi być lepszy sposób na bardziej ogólne sytuacje.

P. (x_{1} | x_{2)}, \dots, x_{n}) = \frac{P. (x_{1}, \dots, x_{n})}{P. (x_{2)}, \dots, x_{n})}

$P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)}$

x_{1}

$x_1$

Wszystkie przykłady próbkowania Gibbsa, które widziałem online, wykorzystują przykłady zabawek (takie jak próbkowanie z wielowymiarowej normalnej, gdzie warunki warunkowe same w sobie są normalne) i wydają się unikać tego problemu.

* Czy w ogóle potrzebujesz pełnych warunków warunkowych w formie analitycznej? Jak to robią programy takie jak winBUGS?

bayesian mcmc gibbs cespinoza
źródło

Próbkowanie Gibbsa jest zwykle mniej wydajne niż Metropolis-Hastings, ponieważ idzie o jeden wymiar na raz ...

Xi'an

Gibbs próbkowania jest bardziej wydajny w każdym pojedynczym kroku, ale może potrzebować strasznie dużo więcej kroków do konwergencji - i kończy się mniej efektywne dla dobra ogólnego wyniku.

Lutz Prechelt,

Odpowiedzi:

Tak, masz rację, rozkład warunkowy należy znaleźć analitycznie, ale myślę, że istnieje wiele przykładów, w których pełny rozkład warunkowy jest łatwy do znalezienia i ma znacznie prostszą formę niż rozkład łączony.

Intuicji tego jest jak następuje, w większości „rzeczywiste” wspólnego rozkładów , większość z „S są zazwyczaj warunkowo niezależnie od większości innych zmiennych losowych. Oznacza to, że niektóre zmienne lokalne interakcje, powiedzmy zależy i , ale nie oddziałuje ze wszystkim, stąd rozkłady warunkowe powinno znacznie uprościć jako $P(X_1,\dots,X_n)$ $X_i$ $X_i$ $X_{i-1}$ $X_{i+1}$ $Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

Gabgoh
źródło

Aby dodać do tej odpowiedzi, nie musisz marginalizować innych zmiennych, jak pierwotnie podano w pytaniu. Wystarczy „przeorganizować”

, aby rozpoznać wynik jako znany plik pdf i gotowe. Tak długo, jak będziesz w stanie zreorganizować powyższe wszystko inne (tj. Wszystkie inne stałe, całka w mianowniku itp.) Będzie równa odpowiedniej stałej dla pliku pdf do zintegrowania z 1.

P r (X_{i} | X_{i - 1}, X_{i + 1})

$Pr(X_i|X_{i-1},X_{i+1})$

Nie trzeba ich szukać analitycznie. Wszystkie pełne warunki warunkowe są na przykład proporcjonalne do wspólnego rozkładu. I to wszystko, czego potrzebuje Metropolis-Hastings.

Tristan

@Tristan oczywiście. Mówię jednak o próbkowaniu Gibbsa.

gabgoh

Nie trzeba ich szukać analitycznie do pobierania próbek Gibbs. Musisz po prostu móc w jakiś sposób próbkować z warunkowego; to, czy możesz napisać, jak to zrobić w dość analitycznym stwierdzeniu, nie ma znaczenia.

gość

W rzeczywistości nie ma potrzeby stosowania pełnego warunku analitycznego: wszystko, co jest wymagane do wdrożenia próbkowania Gibbsa, to możliwość symulacji z pełnych warunków warunkowych.

Xi'an,

Myślę, że przegapiłeś główną zaletę algorytmów takich jak Metropolis-Hastings. W przypadku próbkowania Gibbs konieczne będzie pobranie próbek z pełnych warunków warunkowych. Masz rację, co rzadko jest łatwe do zrobienia. Główną zaletą algorytmów Metropolis-Hastings jest to, że nadal można próbkować jeden parametr na raz, ale trzeba znać tylko pełne warunki warunkowe, aż do proporcjonalności. Wynika to z faktu, że mianowniki anulują się w funkcji kryteriów akceptacji

Nienormalizowane pełne warunki warunkowe są często dostępne. Na przykład, w przykładzie , który masz. Nie musisz wykonywać żadnych całek analitycznie. W większości aplikacji wiele więcej prawdopodobnie również anuluje. $P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$

Programy takie jak WinBugs / Jags zazwyczaj wykonują Metropolis-Hastings lub etapy próbkowania w plasterkach, które wymagają tylko warunkowych operacji do proporcjonalności. Są one łatwo dostępne w DAG. Biorąc pod uwagę koniugację, czasami wykonują proste kroki Gibbsa lub fantazyjne przystanki blokowe.

Tristan
źródło

Hej dzięki! Myślę, że kwestią niepotrzebowania stałej normalizacyjnej dla pośpiechu metropolii są właśnie informacje, których potrzebowałem, aby zrozumieć to wszystko. Myślę, że ponieważ GS w WinBUGS oznacza próbkowanie gibbs, miałem wrażenie, że gibbs zastąpił MH i że oprogramowanie używa wyłącznie gibbs.

cespinoza,

Termin próbkowanie Gibbs jest często używany do sugerowania, że próbkujesz jeden parametr na raz, nawet jeśli nie używasz oryginalnej idei próbkowania bezpośrednio z pełnych warunków warunkowych. Wszystkie programy próbkują poszczególne parametry lub bloki parametrów w sekwencji, ale rzeczywisty typ kroku różni się bardzo w zależności od tego, co działa najlepiej.

Tristan

Niemal za każdym razem, gdy możesz wdrożyć Gibbs, możesz także wdrożyć alternatywy Metropolis-Hastings. Wyższa wydajność wynika z mieszania obu podejść.

Xi'an

To powinna być zaakceptowana odpowiedź.

NoBackingDown