Hamiltonian Monte Carlo vs. Sekwencyjny Monte Carlo

23

Próbuję poznać względne zalety i wady, a także różne domeny zastosowań tych dwóch schematów MCMC.

  • Kiedy skorzystasz z którego i dlaczego?
  • Kiedy jedno może zawieść, a drugie nie (np. Gdzie ma zastosowanie HMC, ale nie SMC i odwrotnie)
  • Czy jeden, bardzo naiwnie przyznany, może nałożyć miarę użyteczności na jedną metodę w porównaniu z drugą (tj. Czy jedna jest na ogół lepsza )?

Obecnie czytam doskonały artykuł Betancourt na temat HMC .

Astrid
źródło
3
SMC nie jest techniką MCMC, tzn. Nie ma łańcucha Markowa, który byłby konstruowany przy użyciu SMC.
jaradniemi
1
Czasami używasz mcmc w smc. A czasami używasz smc w mcmc. W chwili pisania tego artykułu nie znam żadnych dokumentów, które łączą użycie hmc i smc.
Taylor,
1
Sam chciałbym lepiej zrozumieć związek między SMC (aka, filtrowanie cząstek) a HMC. Dzięki za pytanie! Zwracam uwagę na ten dokument, który na pierwszy rzut oka wydaje się reprezentować pewnego rodzaju połączenie dwóch podejść: arxiv.org/pdf/1504.05715v2.pdf
David C. Norris,

Odpowiedzi:

23

Hamiltonian Monte Carlo osiąga dobre wyniki przy ciągłym rozkładzie celów o „dziwnych” kształtach. Wymaga to rozróżnienia celu, ponieważ w zasadzie używa nachylenia rozkładu celu, aby wiedzieć, gdzie iść. Idealnym przykładem jest funkcja w kształcie banana.

Oto standardowy Metropolis Hastings w funkcji Banana: Wskaźnik akceptacji 66% i bardzo słaby zasięg. Metropolis Hastings z funkcją bananów

Oto z HMC: 99% akceptacji z dobrym zasięgiem. Metropolis Hastings z funkcją bananów

P.(θ|y1),P.(θ|y1,y2)),...,P.(θ|y1,y2),...,yN.)

Na przykład ta sekwencja jest doskonałym celem dla SMC: wprowadź opis zdjęcia tutaj

Dzięki równoległemu charakterowi SMC jest szczególnie odpowiedni do przetwarzania rozproszonego / równoległego.

Podsumowanie:

  • HMC: dobre dla wydłużonego dziwnego celu. Nie działa z funkcją ciągłą.
  • SMC: dobre dla przypadków multimodalnych i nieciągłych. Może zbiegać się wolniej lub wykorzystywać większą moc obliczeniową dla dziwnych kształtów o dużych wymiarach.

Źródło: Większość zdjęć pochodzi z artykułu, który napisałem, łącząc 2 Metody (Hamiltonian Sequential Monte Carlo). Ta kombinacja może symulować praktycznie każdy rozkład, jaki możemy na nią rzucić, nawet przy bardzo dużych wymiarach.

RemiDav
źródło
1
Ładne i jasne; +1. Nie mam pojęcia, dlaczego nie ma więcej pozytywnych opinii!
arboviral
2
Oto artykuł dla zainteresowanych: remidaviet.com/files/HSMC-paper.pdf
stackoverflax