Kiedy należy użyć próbkowania Gibbsa zamiast Metropolis-Hastings?

20

Istnieją różne rodzaje algorytmów MCMC:

  • Metropolis-Hastings
  • Gibbs
  • Próbkowanie pod kątem ważności / odrzucenia (powiązane).

Dlaczego warto korzystać z próbkowania Gibbs zamiast Metropolis-Hastings? Podejrzewam, że zdarzają się przypadki, w których wnioskowanie jest łatwiejsze w przypadku próbkowania Gibbsa niż w przypadku Metropolis-Hastings, ale nie mam jasności co do szczegółów.

ShanZhengYang
źródło
3
Z czubka głowy (minęło trochę czasu, więc nie wysyłam tego jako odpowiedzi), Gibbs jest szybszy, gdy działa, podczas gdy Metropolis-Hastings może poradzić sobie z szerszą gamą modeli, ponieważ nie jest ograniczony do ortogonalnych kroków w przestrzeni parametrów.
Kodiolog,
4
Być może wiesz, że Gibbs może być postrzegany jako przykład Metropolis-Hastings, więc możesz wyjaśnić, że masz na myśli coś w rodzaju „Metropolis-Hastings z lokalnymi rozkładami przejścia”.
Dougal,

Odpowiedzi:

22

Po pierwsze, pozwólcie mi to zauważyć [nieco pedantycznie]

Istnieje kilka różnych rodzajów algorytmów MCMC: Metropolis-Hastings, Gibbs, próbkowanie ważności / odrzucenia (powiązane).

ważność i metody odrzucania próbkowania nie są algorytmami MCMC, ponieważ nie są oparte na łańcuchach Markowa. Właściwie próbkowania znaczenie nie daje próbkę z rozkładu docelowego, powiedzieć, ale tylko wag znaczenie na przykład do wykorzystania w Monte Carlo przybliżeń całek związanych z . Wykorzystanie tych wag jako prawdopodobieństw do wytworzenia próbki nie prowadzi do uzyskania właściwej próbki , mimo że można uzyskać obiektywne estymatory oczekiwań dla .faωfafafa

Po drugie pytanie

Dlaczego ktoś miałby pobierać próbki Gibbs zamiast Metropolis-Hastings? Podejrzewam, że zdarzają się przypadki, w których wnioskowanie jest łatwiejsze w przypadku próbkowania Gibbsa niż w przypadku Metropolis-Hastings

nie ma odpowiedzi, że próbnik Metropolis-Hastings może być prawie wszystkim, w tym próbnikiem Gibbsa. Odpowiedziałem dość szczegółowo na wcześniejsze i podobne pytanie. Ale dodam tutaj kilka zbędnych punktów:

Głównym powodem, dla którego wprowadzono próbkowanie Gibbsa, było przełamanie klątwy wymiarowości (która wpływa zarówno na próbę odrzucenia, jak i ważności) poprzez stworzenie sekwencji symulacji niskiego wymiaru, które wciąż są zbieżne z właściwym celem. Mimo że wymiar celu wpływa na szybkość konwergencji. Próbniki Metropolis-Hastings są zaprojektowane do tworzenia łańcucha Markowa (podobnie jak próbkowanie Gibbsa) w oparciu o propozycję (podobnie jak próbkowanie ważności i odrzucenia) poprzez skorygowanie niewłaściwej gęstości poprzez krok akceptacji-odrzucenia. Ważną kwestią jest jednak to, że się nie sprzeciwiają: mianowicie próbkowanie Gibbsa może wymagać kroków Metropolis-Hastings w obliczu złożonych, jeśli niskonakładowych celów warunkowych, podczas gdy propozycje Metropolis-Hastings mogą być budowane na podstawie przybliżeń do pełnych warunków warunkowych (Gibbs). W formalnej definicji Próbkowanie Gibbsa jest szczególnym przypadkiem algorytmu Metropolis-Hasting z prawdopodobieństwem przyjęcia jednego. (Nawiasem mówiąc, sprzeciwiam się użyciuwnioskowanie w tym cytacie, ponieważ zarezerwowałbym go do celów statystycznych , podczas gdy te próbniki są urządzeniami numerycznymi )

Zwykle próbkowanie Gibbsa [rozumiane jako przeprowadzanie sekwencji niskowymiarowych symulacji warunkowych] jest preferowane w ustawieniach, w których rozkład na takie warunki warunkowe jest łatwy do wdrożenia i szybki do uruchomienia. W ustawieniach, w których takie dekompozycje indukują multimodalność, a co za tym idzie trudności w poruszaniu się między trybami (przychodzą na myśl modele zmiennych utajonych, takie jak modele mieszane), zastosowanie bardziej globalnej propozycji w algorytmie Metropolis-Hasting może zapewnić wyższą wydajność. Jednak wadą jest wybór rozkładu propozycji w algorytmie Metropolis-Hasting.

Xi'an
źródło