Próbuję zrozumieć łańcuchy Markowa za pomocą SAS. Rozumiem, że proces Markowa to taki, w którym przyszły stan zależy tylko od stanu bieżącego, a nie od stanu przeszłego, i istnieje matryca przejścia, która wychwytuje prawdopodobieństwo przejścia z jednego stanu do drugiego.
Ale potem natrafiłem na ten termin: Markov Chain Monte Carlo. Chcę wiedzieć, czy Markov Chain Monte Carlo jest w jakikolwiek sposób związany z procesem Markowa, który opisałem powyżej?
źródło
W praktyce te metody symulacyjne generują ciąg który jest łańcuchem Markowa, tj. Taki, że rozkład X i dla całej przeszłości { X i - 1 , … , X 1 } zależy tylko od X i - 1 . Innymi słowy, X i = f ( X i - 1X1,…,XN Xi {Xi−1,…,X1} Xi−1 gdzie f
Najprostszym przykładem algorytmu MCMC jest próbnik wycinków : w iteracji i tego algorytmu wykonaj
Na przykład, jeśli rozkład docelowy jest normalnym [dla którego oczywiście nie potrzebujesz MCMC w praktyce, jest to zabawkowy przykład!]Powyższe tłumaczy się jakoN(0,1)
lub w R.
który podąża za pionowymi i poziomymi ruchami łańcucha Markowa pod docelową krzywą gęstości.
źródło