Hamiltonian Monte Carlo

14

Czy ktoś może wyjaśnić główną ideę metod Hamiltona Monte Carlo iw jakich przypadkach przyniesie lepsze wyniki niż metody Monte Carlo Markowa w łańcuchu?

Taylor
źródło
1
Jest to szeroko omówione w dokumentacji Stan.
Sycorax mówi Przywróć Monikę
6
@General Abrial: ale czy wszystkie pytania tutaj nie są zawarte w jednym lub innym dokumencie, książce lub dokumentacji?
3
Pytanie nie jest dobrze postawione, ponieważ Hamiltonian Monte Carlo jest przykładem metody Monte Carlo z łańcuchem Markowa.
aripakman
3
Jasne, to dobra opinia mcmchandbook.net/HandbookChapter5.pdf
aripakman
5
Zauważyłeś, że Zen już 28 maja link do dokładnie tego samego adresu URL?
Bernhard

Odpowiedzi:

11

Uważam, że najbardziej aktualnym źródłem Hamiltonian Monte Carlo, jego praktycznymi zastosowaniami i porównaniem z innymi metodami MCMC jest ten artykuł przeglądowy z datą 2017, autorstwa Betancourt:

Ostatecznym wyzwaniem w oszacowaniu oczekiwań probabilistycznych jest kwantyfikacja typowego zestawu rozkładu celu, który koncentruje się w pobliżu złożonej powierzchni w przestrzeni parametrów. Hamiltonian Monte Carlo generuje spójne badanie gładkich rozkładów celów, wykorzystując geometrię typowego zestawu. Ta skuteczna eksploracja zapewnia nie tylko lepszą wydajność obliczeniową niż inne algorytmy Monte Carlo w łańcuchu Markowa, ale także silniejsze gwarancje poprawności uzyskanych estymatorów. Ponadto dokładna analiza tej geometrii ułatwia oparte na zasadach strategie automatycznego konstruowania optymalnych implementacji metody, umożliwiając użytkownikom skoncentrowanie się na budowaniu lepszych modeli zamiast zmagania się z frustracjami obliczeń statystycznych. W rezultacie,Stan (Stan Development Team, 2017).

Zhubarb
źródło
2
To trochę przesadzone podejście!
Xi'an
3

Hamiltonian Monte Carlo ( HMC ), pierwotnie zwany Hybrid Monte Carlo, jest formą Markowa Łańcucha Monte Carlo z terminem pędu i poprawkami.

„Hamiltonian” odnosi się do mechaniki hamiltonianu.

Przypadek użycia to stochastycznie (losowo) badanie wysokich wymiarów w celu integracji numerycznej w przestrzeni prawdopodobieństwa.

Porównaj z MCMC

Zwykły / waniliowy łańcuch Markowa Monte Carlo (MCMC) używa tylko ostatniego stanu do ustalenia następnego stanu. Oznacza to, że masz równie duże szanse pójść naprzód, jak cofnąć się w przestrzeni, którą już zbadałeś.

MCMC może również dryfować poza głównym obszarem zainteresowania również w przestrzeniach o dużych wymiarach.

To sprawia, że ​​MCMC jest bardzo nieefektywny do celów integracji numerycznej w wielowymiarowej przestrzeni prawdopodobieństwa.

Jak HMC radzi sobie z tymi problemami

Dodając w ujęciu pędu, HMC sprawia, że ​​eksploracja przestrzeni prawdopodobieństwa jest bardziej wydajna, ponieważ teraz masz większe szanse na postęp z każdym krokiem w przestrzeni prawdopodobieństwa.

HMC korzysta również z poprawek Metropolis-Hastings, aby upewnić się, że pozostaje w regionie i bada region o większym prawdopodobieństwie.

Pisząc tę ​​odpowiedź, stwierdziłem, że ta prezentacja na HMC jest dość pouczająca.

Aaron Hall
źródło