Kiedy należy użyć próbkowania Gibbsa zamiast Metropolis-Hastings?

Istnieją różne rodzaje algorytmów MCMC:

• Metropolis-Hastings
• Gibbs
• Próbkowanie pod kątem ważności / odrzucenia (powiązane).

Dlaczego warto korzystać z próbkowania Gibbs zamiast Metropolis-Hastings? Podejrzewam, że zdarzają się przypadki, w których wnioskowanie jest łatwiejsze w przypadku próbkowania Gibbsa niż w przypadku Metropolis-Hastings, ale nie mam jasności co do szczegółów.

Po pierwsze, pozwólcie mi to zauważyć [nieco pedantycznie]

Istnieje kilka różnych rodzajów algorytmów MCMC: Metropolis-Hastings, Gibbs, próbkowanie ważności / odrzucenia (powiązane).

ważność i metody odrzucania próbkowania nie są algorytmami MCMC, ponieważ nie są oparte na łańcuchach Markowa. Właściwie próbkowania znaczenie nie daje próbkę z rozkładu docelowego, powiedzieć, ale tylko wag znaczenie na przykład do wykorzystania w Monte Carlo przybliżeń całek związanych z . Wykorzystanie tych wag jako prawdopodobieństw do wytworzenia próbki nie prowadzi do uzyskania właściwej próbki , mimo że można uzyskać obiektywne estymatory oczekiwań dla .$f$$\omega$$f$$f$$f$

Po drugie pytanie

Dlaczego ktoś miałby pobierać próbki Gibbs zamiast Metropolis-Hastings? Podejrzewam, że zdarzają się przypadki, w których wnioskowanie jest łatwiejsze w przypadku próbkowania Gibbsa niż w przypadku Metropolis-Hastings

nie ma odpowiedzi, że próbnik Metropolis-Hastings może być prawie wszystkim, w tym próbnikiem Gibbsa. Odpowiedziałem dość szczegółowo na wcześniejsze i podobne pytanie. Ale dodam tutaj kilka zbędnych punktów:

Głównym powodem, dla którego wprowadzono próbkowanie Gibbsa, było przełamanie klątwy wymiarowości (która wpływa zarówno na próbę odrzucenia, jak i ważności) poprzez stworzenie sekwencji symulacji niskiego wymiaru, które wciąż są zbieżne z właściwym celem. Mimo że wymiar celu wpływa na szybkość konwergencji. Próbniki Metropolis-Hastings są zaprojektowane do tworzenia łańcucha Markowa (podobnie jak próbkowanie Gibbsa) w oparciu o propozycję (podobnie jak próbkowanie ważności i odrzucenia) poprzez skorygowanie niewłaściwej gęstości poprzez krok akceptacji-odrzucenia. Ważną kwestią jest jednak to, że się nie sprzeciwiają: mianowicie próbkowanie Gibbsa może wymagać kroków Metropolis-Hastings w obliczu złożonych, jeśli niskonakładowych celów warunkowych, podczas gdy propozycje Metropolis-Hastings mogą być budowane na podstawie przybliżeń do pełnych warunków warunkowych (Gibbs). W formalnej definicji Próbkowanie Gibbsa jest szczególnym przypadkiem algorytmu Metropolis-Hasting z prawdopodobieństwem przyjęcia jednego. (Nawiasem mówiąc, sprzeciwiam się użyciuwnioskowanie w tym cytacie, ponieważ zarezerwowałbym go do celów statystycznych , podczas gdy te próbniki są urządzeniami numerycznymi )

Zwykle próbkowanie Gibbsa [rozumiane jako przeprowadzanie sekwencji niskowymiarowych symulacji warunkowych] jest preferowane w ustawieniach, w których rozkład na takie warunki warunkowe jest łatwy do wdrożenia i szybki do uruchomienia. W ustawieniach, w których takie dekompozycje indukują multimodalność, a co za tym idzie trudności w poruszaniu się między trybami (przychodzą na myśl modele zmiennych utajonych, takie jak modele mieszane), zastosowanie bardziej globalnej propozycji w algorytmie Metropolis-Hasting może zapewnić wyższą wydajność. Jednak wadą jest wybór rozkładu propozycji w algorytmie Metropolis-Hasting.