Algorytmy Metropolis-Hastings stosowane w praktyce

20

Czytałem dziś blog Christiana Roberta i całkiem podobał mi się nowy algorytm Metropolis-Hastings, o którym rozmawiał. Wydawało się proste i łatwe do wdrożenia.

Ilekroć koduję MCMC, mam tendencję do trzymania się bardzo podstawowych algorytmów MH, takich jak niezależne ruchy lub losowe spacery na skali dziennika.

Z jakich algorytmów MH ludzie rutynowo korzystają? W szczególności:

  • Dlaczego ich używasz?
  • W pewnym sensie musisz myśleć, że są optymalne - w końcu używasz ich rutynowo! Jak oceniasz optymalność: łatwość kodowania, zbieżność, ...

Szczególnie interesuje mnie to, co jest stosowane w praktyce, tj. Kiedy kodujesz własne schematy.

mcmc metropolis-hastings csgillespie
źródło
Być może CW? Pytanie wydaje się ankietą na temat tego, czego używają ludzie. Jak zdefiniowałbyś „najlepszą” odpowiedź? Przyznaję, że jestem trochę rozmyślny, kiedy aplikuję CW. Dlatego możesz zignorować ten komentarz, jeśli uważasz inaczej.
1
Nie miałbym nic przeciwko pozostawieniu tego jako non-CW, szczególnie jeśli Colin może go nieco sformułować, aby umożliwić jedną najlepszą odpowiedź. To powiedziawszy, nie mogę sobie wyobrazić, jak to zrobić ...
Shane
Próbowałem zmienić pytanie, aby to mniej CW - nie wiem, czy udało mi się :( @Shane @Srikant jeśli nadal uważa, że powinien to być CW, nie krępuj się go zmienić.
csgillespie
Wygląda na to, że byłby to dobry artykuł ankietowy!
Sean

Odpowiedzi:

2

Hybrydowy Monte Carlo jest standardowym algorytmem stosowanym w sieciach neuronowych. Próbkowanie Gibbsa dla klasyfikacji procesu Gaussa (gdy zamiast tego nie stosuje się przybliżenia deterministycznego).

Dikran Torbacz
źródło
2

Próbkowanie MH stosuje się, gdy trudno jest pobrać próbkę z rozkładu docelowego (np. Gdy wcześniejsze nie jest powiązane z prawdopodobieństwem). Dlatego używasz rozkładu propozycji do generowania próbek i akceptowania / odrzucania ich na podstawie prawdopodobieństwa akceptacji. Próbkowania Gibbs algorytm jest szczególnym przypadkiem MH gdzie propozycje są zawsze akceptowane. Próbkowanie Gibbsa jest jednym z najczęściej używanych algorytmów ze względu na jego prostotę, ale nie zawsze może być możliwe zastosowanie, w którym to przypadku stosuje się MH na podstawie propozycji akceptacji / odrzucenia.

ebony1
źródło
1

W fizyce, w szczególności fizyka statystyczna, algorytmy (algorytmy) Metropolis są szeroko stosowane. Istnieje ich naprawdę niezliczona liczba, a nowe są aktywnie rozwijane. Jest to zbyt obszerny temat, aby podać tutaj jakiekolwiek wyjaśnienie, więc jeśli jesteś zainteresowany, możesz zacząć np. Od tych notatek z wykładu lub ze strony internetowej biblioteki ALPS (http://alps.comp-phys.org/mediawiki).

ev-br
źródło
Zdaję sobie sprawę, że istnieją niezliczone warianty tego algorytmu. Interesowało mnie to, z których rutynowo korzystają ludzie.
csgillespie
1

Używam próbnika wycinków - pierwotnie zaproponowanego przez Neala (2003), który dostrajam poprzez optymalizację heurystyczną.

M. Tibbits
źródło