Czy MCMC spełniający szczegółowy bilans daje rozkład stacjonarny?

12

Wydaje mi się, że rozumiem równanie stanu równowagi szczegółowej, które stwierdza, że ​​dla prawdopodobieństwa przejścia i rozkładu stacjonarnego Łańcuch Markowa spełnia równowagę szczegółową, jeśliπ q ( x | y ) π ( y ) = q ( y | x ) π ( x ) ,qπ

q(x|y)π(y)=q(y|x)π(x),

ma to dla mnie większy sens, jeśli powtórzę to jako:

q(x|y)q(y|x)=π(x)π(y).

Zasadniczo prawdopodobieństwo przejścia ze stanu do stanu powinno być proporcjonalne do stosunku ich gęstości prawdopodobieństwa.yxy

Mike Flynn
źródło

Odpowiedzi:

10

Nie jest prawdą, że MCMC spełniający szczegółowy bilans zawsze daje rozkład stacjonarny. Potrzebujesz również tego procesu, aby był ergodyczny . Zobaczmy, dlaczego:

Rozważ jako stan zbioru wszystkich możliwych stanów i zidentyfikuj go za pomocą indeksu . W procesie markowa rozkład ewoluuje zgodnie zi p t ( i )xipt(i)

pt(i)=jΩjipt1(j)

gdzie to macierz oznaczająca prawdopodobieństwo przejścia (twoje ). q ( x | y )Ωjiq(x|y)

Mamy to

pt(i)=j(Ωji)tp0(j)

Fakt, że jest prawdopodobieństwem przejścia, sugeruje, że jego wartości własne muszą należeć do przedziału [0,1].Ωji

Aby upewnić się, że każda początkowa dystrybucja zbieżna z asymptotyczną, musisz upewnić się, żep0(j)

  • 1 Jest tylko jedna wartość własna o wartości 1 i ma ona unikalny niezerowy wektor własny.Ω

Aby upewnić się, że jest rozkładem asymptotycznym, musisz to zapewnićπ

  • 2 Wektor własny związany z wartością własną 1 to .π

Ergodyczność oznacza 1., szczegółowa równowaga oznacza 2. i dlatego oba tworzą niezbędny i wystarczający warunek asymptotycznej konwergencji.

Dlaczego szczegółowa równowaga oznacza 2:

Zaczynając od

p(i)Ωij=Ωjip(j)

i sumując po po obu stronach, otrzymujemyj

p(i)=jΩjip(j)

ponieważ , ponieważ zawsze gdzieś przechodzisz.jΩij=1

Powyższe równanie jest definicją wartości własnej 1, (łatwiej sprawdzić, czy piszesz ją w postaci wektorowej :)

1.v=Ωv
Jorge Leitao
źródło
OP nie pyta, czy jest unikalny, czy nie, pyta, w jaki sposób MCMC ze szczegółową równowagą wystarcza, aby uzyskać niezmienną gęstość prawdopodobieństwa.
gatsu
1
Pierwsze zdanie tej odpowiedzi brzmi: „Nie jest prawdą, że MCMC spełniający szczegółowy bilans zawsze daje rozkład stacjonarny”. Więc nie, szczegółowa równowaga nie wystarcza, aby uzyskać plon i niezmienną gęstość ... Jak to nie odpowiada na pytanie?
Jorge Leitao
0

Myślę, że tak, ponieważ dla nieredukowalnego MC, jeśli zachowana jest szczegółowa równowaga, ma on unikalny rozkład stacjonarny, ale aby był niezależny od początkowego rozkładu, musi być również aperiodyczny.

W przypadku MCMC zaczynamy od punktu danych, a następnie proponujemy nowy punkt. Możemy, ale nie musimy, przejść do proponowanego punktu, tj. Mamy pętlę własną, która czyni nieredukowalną MC aperiodyczną.

Teraz z racji spełnienia DB ma również dodatnie stany powtarzalne, tj. Średni czas powrotu do stanów jest skończony. Tak więc łańcuch, który budujemy w MCMC, jest nieredukowalnym, aperiodycznym i dodatnim nawrotem, co oznacza, że ​​jest łańcuchem ergodycznym.

Wiemy, że dla nieredukowalnego łańcucha ergodycznego istnieje rozkład stacjonarny, który jest unikalny i niezależny od rozkładu początkowego.

Siddharth Shakya
źródło