Jaka jest różnica między rozkładami „ograniczającymi” a „stacjonarnymi”?

Zadaję pytanie dotyczące łańcuchów Markowa, a dwie ostatnie części mówią:

• Czy ten łańcuch Markowa ma ograniczający rozkład. Jeśli Twoja odpowiedź brzmi „tak”, znajdź dystrybucję ograniczającą. Jeśli Twoja odpowiedź brzmi „nie”, wyjaśnij dlaczego.
• Czy ten łańcuch Markowa ma rozkład stacjonarny. Jeśli Twoja odpowiedź brzmi „tak”, znajdź rozkład stacjonarny. Jeśli Twoja odpowiedź brzmi „nie”, wyjaśnij dlaczego.

Jaka jest różnica? Wcześniej myślałem, że ograniczający rozkład miał miejsce, gdy opracowywałeś go za pomocą ale jest to macierz przejścia -tego kroku. Obliczyli rozkład graniczny za pomocą , co moim zdaniem było rozkładem stacjonarnym. n Π = Π $P = CA^n C^{-1}$$n$$\Pi = \Pi P$

Który więc który?

Z wprowadzenia do modelowania stochastycznego autorstwa Pinsky'ego i Karlina (2011):

Rozkład ograniczający, gdy istnieje, jest zawsze rozkładem stacjonarnym, ale odwrotność nie jest prawdą. Może istnieć rozkład stacjonarny, ale brak rozkładu ograniczającego. Na przykład nie ma ograniczającego rozkładu dla okresowego łańcucha Markowa, którego macierz prawdopodobieństwa przejścia to ale jest rozkładem stacjonarnym, ponieważ (s. 205).π = (

$$\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$$ ($\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $$\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$$

W poprzednim rozdziale są już zdefiniowany „ ograniczającej rozkład prawdopodobieństwa ” przez$\pi$

$$\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$$

i równoważnie

$$\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$$ (str. 165).

Powyższy przykład oscyluje deterministycznie, a więc nie ma limitu w taki sam sposób, jak sekwencja nie ma limitu.$\{1,0,1,0,1,\dots\}$

---

Twierdzą, że regularny łańcuch Markowa (w którym wszystkie prawdopodobieństwa przejścia w kroku n są dodatnie) zawsze ma rozkład ograniczający i dowodzi, że musi to być unikalne nieujemne rozwiązanie

$$\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$$ (str. 168 )

Następnie na tej samej stronie co w przykładzie piszą

Każdy zestaw spełniający (4.27) jest nazywany stacjonarnym rozkładem prawdopodobieństwa łańcucha Markowa. Termin „stacjonarny” wywodzi się z właściwości, którą łańcuch Markowa rozpoczął zgodnie z rozkładem stacjonarnym, podąża za tym rozkładem we wszystkich punktach czasowych. Formalnie, jeśli , to dla wszystkich . Pr { X 0 = i } $(\pi_i)_{i=0}^{\infty}$ Pr { X n = i } = π i n = 1 , 2 , $\operatorname{Pr}\{X_0=i\}=\pi_i$$\operatorname{Pr}\{X_n=i\}=\pi_i$$n=1,2,\dots$

gdzie (4.27) jest zbiorem równań

$$\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$$

który jest dokładnie takim samym warunkiem stacjonarności jak powyżej, z wyjątkiem teraz z nieskończoną liczbą stanów.

Dzięki tej definicji stacjonarności stwierdzenie na stronie 168 można przekształcić z mocą wsteczną:

1. Ograniczający rozkład regularnego łańcucha Markowa jest rozkładem stacjonarnym.
2. Jeśli rozkład ograniczający łańcucha Markowa jest rozkładem stacjonarnym, wówczas rozkład stacjonarny jest unikalny.

Rozkład stacjonarny jest takim rozkładem że jeśli rozkład między stanami w kroku wynosi , to również rozkład między stanami w kroku wynosi . Oznacza to, że Rozkład ograniczający jest takim rozkładem że bez względu na początkowy rozkład, rozkład między stanami jest zbieżny do jako liczba kroki idą w nieskończoność: niezależnie od$\pi$$k$$\pi$$k+1$$\pi$

$$\begin{equation} \pi = \pi P. \end{equation}$$ $\pi$$\pi$ $$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$$ $\pi^{(0)}$. Rozważmy na przykład łańcuch Markowa, którego dwa stany są bokami monety, . Każdy krok polega na odwróceniu monety do góry nogami (z prawdopodobieństwem 1). Zauważ, że kiedy obliczamy rozkłady stanów, nie są one uzależnione od poprzednich kroków, tzn. Facet, który oblicza prawdopodobieństwa, nie widzi monety. Zatem macierz przejścia to Jeśli najpierw zainicjujemy monetę, losowo ją odwracając ( ), wówczas również wszystkie kolejne kroki czasowe będą przebiegać zgodnie z tym rozkładem. (Jeśli rzucisz uczciwą monetę, a następnie odwrócisz ją do góry nogami, prawdopodobieństwo głów wciąż wynosi ). A zatem,$\{heads, tails\}$ $$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$$ 0,5 ( 0,5 0,5$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$$0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ to stacjonarna dystrybucja tego łańcucha Markowa.

Łańcuch ten nie ma jednak ograniczającego rozkładu: załóżmy, że inicjalizujemy monetę tak, aby była głową z prawdopodobieństwem . Następnie, ponieważ wszystkie kolejne stany są określane przez stan początkowy, po parzystej liczbie kroków stan przechodzi w głowę z prawdopodobieństwem a po nieparzystej liczbie kroków stan przechodzi w głowę z prawdopodobieństwem . Jest to ważne bez względu na to, ile kroków zostanie wykonanych, dlatego podział na stany nie ma ograniczeń.2 / 3 1 /$2/3$$2/3$$1/3$

Teraz zmodyfikujmy proces, aby na każdym kroku niekoniecznie obracać monetą. Zamiast tego rzuca się kostką, a jeśli wynik to , moneta zostaje bez zmian. Ten łańcuch Markowa ma macierz przejścia Nie omawiając matematyki, zaznaczę, że proces ten „zapomni” stan początkowy z powodu losowego pominięcia tury. Po ogromnej liczbie kroków prawdopodobieństwo głów będzie bliskie , nawet jeśli wiemy, jak zainicjowano monetę. Zatem łańcuch ten ma ograniczającą dystrybucję .P = ( 1 / 6 5 / 6 5 / 6 1 / 6 ) . 0,5 ( 0,5 0,5$6$

$$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$$ $0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

Odkładając na bok notację, słowo „stacjonarne” oznacza „kiedy tam dotrzesz, pozostaniesz tam”; podczas gdy słowo „ograniczenie” oznacza „w końcu dotrzesz tam, jeśli posuniesz się wystarczająco daleko”. Pomyślałem, że to może być pomocne.