Natknąłem się na ten artykuł, w którym napisano, że w próbkowaniu Gibbsa każda próbka jest akceptowana. Jestem trochę zmieszany. Jak to możliwe, że jeśli każda zaakceptowana próbka zbiega się w rozkład stacjonarny.
Ogólnie algorytm metropolii akceptujemy jako min (1, p (x *) / p (x)), gdzie x * jest punktem próbkowania. Zakładam, że x * wskazuje nam pozycję, w której gęstość jest wysoka, więc przechodzimy do rozkładu celu. Dlatego przypuszczam, że przesuwa się on do rozkładu docelowego po okresie wypalenia.
Jednak w próbkowaniu Gibbs akceptujemy wszystko, więc nawet jeśli może to nas zabrać w inne miejsce, jak możemy powiedzieć, że zbiega się z rozkładem stacjonarnym / docelowym
Załóżmy, że mają rozkład . Nie możemy obliczyć Z. W algorytmie metropolii używamy terminu aby uwzględnić rozkład plus stała normalizująca Z anuluje się. Więc w porządku
Ale w próbkowaniu Gibbsa, gdzie używamy rozkładu
Na przykład w artykule http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf jego dane
więc nie mamy dokładnego rozkładu warunkowego, z którego można próbkować, po prostu mamy coś, co jest wprost proporcjonalne do rozkładu warunkowego
źródło
Odpowiedzi:
Kiedy używamy algorytmu Metropolis-Hastings, musimy obliczyć współczynnik akceptacji i pozwolić zmiennej losowej to akceptujemy zmienną losową, jeśli .
Jednak w próbkowaniu Gibbsa zawsze wykluczamy zmienną losową, ponieważ nie musimy obliczać współczynnika akceptacji (właściwie to robisz, ale po podłączeniu rzeczy widzisz, że wszystko się anuluje, a twój współczynnik akceptacji wynosi i tak wyraźnie) jest zawsze mniejsze niż i dlatego zawsze akceptujesz). Możesz jednak pomyśleć o tym intuicyjnie, gdy w próbkowaniu Gibbsa próbkujesz z pełnego warunku, który jest wyrażeniem o zamkniętej formie, z którego możemy próbkować bezpośrednio, więc nie ma potrzeby odrzucania próbek jak w algorytmie Metropolis-Hastings, w którym nie wiem jak próbkować z (lub zazwyczaj nie rozpoznaje formy) . Mam nadzieję, że to pomaga!α=1 U α p(x)
źródło
Dowód, że współczynnik akceptacji jest równy 1 jako literówka, tj. W mianowniku w środkowej i trzeciej części, wyrażenie na q powinno mieć liczbę pierwszą z_i, aby na końcu otrzymać P (liczba pierwsza z_i | z_i pierwsza).
Alex
źródło