Zamieszanie związane z próbkowaniem Gibbsa

9

Natknąłem się na ten artykuł, w którym napisano, że w próbkowaniu Gibbsa każda próbka jest akceptowana. Jestem trochę zmieszany. Jak to możliwe, że jeśli każda zaakceptowana próbka zbiega się w rozkład stacjonarny.

Ogólnie algorytm metropolii akceptujemy jako min (1, p (x *) / p (x)), gdzie x * jest punktem próbkowania. Zakładam, że x * wskazuje nam pozycję, w której gęstość jest wysoka, więc przechodzimy do rozkładu celu. Dlatego przypuszczam, że przesuwa się on do rozkładu docelowego po okresie wypalenia.

Jednak w próbkowaniu Gibbs akceptujemy wszystko, więc nawet jeśli może to nas zabrać w inne miejsce, jak możemy powiedzieć, że zbiega się z rozkładem stacjonarnym / docelowym

Załóżmy, że mają rozkład . Nie możemy obliczyć Z. W algorytmie metropolii używamy terminu aby uwzględnić rozkład plus stała normalizująca Z anuluje się. Więc w porządkup(θ)=c(θ)/Zc(θnew)/c(θold)c(θ)

Ale w próbkowaniu Gibbsa, gdzie używamy rozkładuc(θ)

Na przykład w artykule http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf jego dane

więc nie mamy dokładnego rozkładu warunkowego, z którego można próbkować, po prostu mamy coś, co jest wprost proporcjonalne do rozkładu warunkowego

wprowadź opis zdjęcia tutaj

użytkownik34790
źródło
2
Co stałoby się w Metropolis-Hastings, gdyby zawsze było równe 1? p(x)/p(x)
Glen_b

Odpowiedzi:

6

Kiedy używamy algorytmu Metropolis-Hastings, musimy obliczyć współczynnik akceptacji i pozwolić zmiennej losowej to akceptujemy zmienną losową, jeśli .

α=min(1,p(x)p(x))
UUniform(0,1)U<α

Jednak w próbkowaniu Gibbsa zawsze wykluczamy zmienną losową, ponieważ nie musimy obliczać współczynnika akceptacji (właściwie to robisz, ale po podłączeniu rzeczy widzisz, że wszystko się anuluje, a twój współczynnik akceptacji wynosi i tak wyraźnie) jest zawsze mniejsze niż i dlatego zawsze akceptujesz). Możesz jednak pomyśleć o tym intuicyjnie, gdy w próbkowaniu Gibbsa próbkujesz z pełnego warunku, który jest wyrażeniem o zamkniętej formie, z którego możemy próbkować bezpośrednio, więc nie ma potrzeby odrzucania próbek jak w algorytmie Metropolis-Hastings, w którym nie wiem jak próbkować z (lub zazwyczaj nie rozpoznaje formy) . Mam nadzieję, że to pomaga!α=1Uαp(x)

wprowadź opis zdjęcia tutaj


źródło
1
Nie zrozumiałem, dlaczego wszystko się anuluje. Powiedzmy, że musimy próbkować z rozkładu 3 zmiennych. Kiedy więc chciałeś powiedzieć pełne warunki warunkowe w wyrażeniu w formie zamkniętej, masz na myśli p (x1 | x2, x3) p (x2 | x1, x3) i p (x3 | x1, x2). Moje pytanie brzmi: w przypadku próbkowania Gibbsa znamy rozkład warunkowy uzyskany z rzeczywistego rozkładu p, z którego chcemy próbkować. Czy o to Ci chodziło. W przypadku algorytmu Metropolis nie znamy p, ale coś w rodzaju c takiego, że p (x) = c (x) / Z ?? p(θ)
user34790,
Załóżmy, że zaczynamy od losowych wartości dla zmiennych x1, x2 i x3, jak można powiedzieć, że jego rozkład stacjonarny zbiega się z wymaganym. Jakie są tego kryteria?
user34790,
Załóżmy, że mają rozkład . Nie znam Z. Więc w jaki sposób miałbym próbkować z przy użyciu próbkowania Gibbsap(θ)=c(θ)/Zp(θ)
34790
3
Dodałem dowód powyżej, dlaczego zawsze jest jeden. Aby użyć próbkowania Gibbsa, musisz wiedzieć, jakie są pełne warunki warunkowe.
1

Dowód, że współczynnik akceptacji jest równy 1 jako literówka, tj. W mianowniku w środkowej i trzeciej części, wyrażenie na q powinno mieć liczbę pierwszą z_i, aby na końcu otrzymać P (liczba pierwsza z_i | z_i pierwsza).

Alex

użytkownik60803
źródło