Nie jest prawdą, że MCMC spełniający szczegółowy bilans zawsze daje rozkład stacjonarny. Potrzebujesz również tego procesu, aby był ergodyczny . Zobaczmy, dlaczego:
Rozważ jako stan zbioru wszystkich możliwych stanów i zidentyfikuj go za pomocą indeksu . W procesie markowa rozkład ewoluuje zgodnie zi p t ( i )xipt(i)
pt(i)=∑jΩj→ipt−1(j)
gdzie to macierz oznaczająca prawdopodobieństwo przejścia (twoje ). q ( x | y )Ωj→iq(x|y)
Mamy to
pt(i)=∑j(Ωj→i)tp0(j)
Fakt, że jest prawdopodobieństwem przejścia, sugeruje, że jego wartości własne muszą należeć do przedziału [0,1].Ωj→i
Aby upewnić się, że każda początkowa dystrybucja zbieżna z asymptotyczną, musisz upewnić się, żep0(j)
- 1 Jest tylko jedna wartość własna o wartości 1 i ma ona unikalny niezerowy wektor własny.Ω
Aby upewnić się, że jest rozkładem asymptotycznym, musisz to zapewnićπ
- 2 Wektor własny związany z wartością własną 1 to .π
Ergodyczność oznacza 1., szczegółowa równowaga oznacza 2. i dlatego oba tworzą niezbędny i wystarczający warunek asymptotycznej konwergencji.
Dlaczego szczegółowa równowaga oznacza 2:
Zaczynając od
p(i)Ωij=Ωjip(j)
i sumując po po obu stronach, otrzymujemyj
p(i)=∑jΩjip(j)
ponieważ , ponieważ zawsze gdzieś przechodzisz.∑jΩij=1
Powyższe równanie jest definicją wartości własnej 1, (łatwiej sprawdzić, czy piszesz ją w postaci wektorowej :)
1.v=Ω⋅v
Myślę, że tak, ponieważ dla nieredukowalnego MC, jeśli zachowana jest szczegółowa równowaga, ma on unikalny rozkład stacjonarny, ale aby był niezależny od początkowego rozkładu, musi być również aperiodyczny.
W przypadku MCMC zaczynamy od punktu danych, a następnie proponujemy nowy punkt. Możemy, ale nie musimy, przejść do proponowanego punktu, tj. Mamy pętlę własną, która czyni nieredukowalną MC aperiodyczną.
Teraz z racji spełnienia DB ma również dodatnie stany powtarzalne, tj. Średni czas powrotu do stanów jest skończony. Tak więc łańcuch, który budujemy w MCMC, jest nieredukowalnym, aperiodycznym i dodatnim nawrotem, co oznacza, że jest łańcuchem ergodycznym.
Wiemy, że dla nieredukowalnego łańcucha ergodycznego istnieje rozkład stacjonarny, który jest unikalny i niezależny od rozkładu początkowego.
źródło