W jaki sposób łańcuch Markowa jest nieredukowalny?

12

Mam problem ze zrozumieniem nieredukowalnej własności łańcucha Markowa .

Mówi się, że nieredukowalny oznacza, że ​​proces stochastyczny może „przejść z dowolnego stanu do dowolnego stanu”.

Ale co określa, czy może przejść ze stanu do stanu , czy nie może przejść?ij


Strona wikipedia zawiera formalizację:

Stan jest dostępny (zapisany ) ze stanu , jeśli istnieje liczba całkowita st jijinij>0

P.(Xnjajot=jot | X0=ja)=pjajot(njajot)>0

wtedy komunikacja jest wtedy, gdy i .jajotjotja

Z tych nieredukowalności wynika jakoś.

mavavilj
źródło
Jaka jest intuicja na temat „dostępności”? Nie rozumiem, dlaczego prawdopodobieństwo warunkowe czyni coś „dostępnym”?
mavavilj
Możesz patrzeć z punktu niedostępności . Mówi się, że stan jest niedostępny od jeśli nie ma szansy dostać się tam od , to znaczy dla dowolnej liczby kroków prawdopodobieństwo wystąpienia tego zdarzenia wynosi . Aby zdefiniować dostępność, należy przełączyć kwanty, tzn. Forall na i na (co jest takie samo jak , ponieważ prawdopodobieństwo jest dodatnie). jotjajan0=00>0
nmerci,

Odpowiedzi:

12

Oto trzy przykłady macierzy przejściowych, pierwsze dwa dla przypadku redukowalnego, ostatni dla przypadku nieredukowalnego.

P.1=(0,50,5000,90,100000.20,8000,70,3)P.2)=(0,10,10,40,40,50,10,10,30.20,40.20.20001)
Dla P.1, gdy jesteś w stanie 3 lub 4, pozostaniesz tam i to samo dla stanów 1 i 2. Na przykład nie ma możliwości przejścia ze stanu 1 do stanu 3 lub 4.

Dla P.2), możesz dostać się do dowolnego stanu od stanów 1 do 3, ale kiedy będziesz w stanie 4, pozostaniesz tam.

P.3)=(0,50,500000,900000,10000,800.20,700,100.200000,10,900,90000,10)
W tym przykładzie możesz zacząć w dowolnym stanie i nadal możesz osiągnąć dowolny inny stan, choć niekoniecznie w jednym kroku.
Christoph Hanck
źródło
5

Stan jot mówi się, że jest dostępny ze stanu ja (zwykle oznaczony przez jajot), jeśli istnieje n0 takie, że:

pjajotn=P.(Xn=jotX0=ja)>0
Oznacza to, że można uzyskać od państwa ja do państwa jot w n kroki z prawdopodobieństwem pjajotn.

Jeśli oba jajot i jotja zachowaj prawdę wtedy stany ja i jot komunikować się (zwykle oznaczony przez jajot). Dlatego łańcuch Markowa jest nieredukowalny, jeśli oba dwa państwa się komunikują.

nmerci
źródło
Jest n w pijnmoc czy indeks?
mavavilj
To jest indeks. Ma jednak interpretację: jeśliP.=(pjajot) być zatem macierzą prawdopodobieństwa przejścia pjajotn jest jajot-ty element P.n (tutaj nto moc).
nmerci,
2

Pozwolić i i jbyć dwoma odrębnymi stanami Łańcucha Markowa. Jeśli istnieje pewne pozytywne prawdopodobieństwo, że proces przejdzie ze stanui określić j, niezależnie od liczby kroków (powiedzmy 1, 2, 3), wtedy mówimy o tym stanie jot jest dostępny ze stanu ja.

Notacyjnie wyrażamy to jako jajot. Pod względem prawdopodobieństwa wyraża się w następujący sposób: stanjot jest dostępny ze stanu ja, jeśli istnieje liczba całkowita m>0 takie, że pjajot(m)>0.

Podobnie mówimy, że jotja, jeśli istnieje liczba całkowita n>0 takie, że pjotja(n)>0.

Teraz, jeśli jedno i drugie jajot i jotja są prawdziwe, wtedy mówimy, że państwa ja i jot komunikują się ze sobą i jest notowane jako jajot. Pod względem prawdopodobieństwa oznacza to, że istnieją dwie liczby całkowitem>0,n>0 takie, że pij(m)>0 i pji(n)>0.

Jeśli wszystkie stany w łańcuchu Markowa należą do jednej zamkniętej komunikującej się klasy , łańcuch ten nazywany jest nieredukowalnym łańcuchem Markowa . Nieredukowalność jest właściwością łańcucha.

W nieredukowalnym łańcuchu Markowa proces może przechodzić z dowolnego stanu do dowolnego stanu , niezależnie od liczby wymaganych kroków.

LVRao
źródło
1

Niektóre z istniejących odpowiedzi wydają mi się niepoprawne.

Jak zacytował J. Medhi w Stochastic Processes (str. 79, wydanie 4), łańcuch Markowa jest nieredukowalny, jeśli nie zawiera żadnego odpowiedniego „zamkniętego” podzbioru innego niż przestrzeń stanu.

Jeśli więc w macierzy prawdopodobieństwa przejścia istnieje podzbiór stanów, w którym nie można „dotrzeć” (ani uzyskać dostępu) do innych stanów oprócz tych stanów, łańcuch Markowa można zredukować. W przeciwnym razie łańcuch Markowa jest nieredukowalny.

Kosmiczny
źródło
-1

Najpierw słowo ostrzeżenia: nigdy nie patrz na matrycę, chyba że masz poważny powód: jedyne, o czym myślę, to sprawdzanie błędnie wpisanych cyfr lub czytanie w podręczniku.

Gdyby P. to twoja macierz przejścia, oblicz exp(P.). Jeśli wszystkie wpisy są niezerowe, to macierz jest nieredukowalna. W przeciwnym razie można go zredukować. GdybyP. jest za duży, oblicz P.n z ntak duży, jak możesz. Ten sam test, nieco mniej dokładny.

Nieredukowalność oznacza: możesz przejść z dowolnego stanu do dowolnego innego stanu w skończonej liczbie kroków.

Na przykładzie Christopha Hancka P.3), nie możesz przejść bezpośrednio ze stanu 1 do stanu 6, ale możesz przejść 1 -> 2 -> 6

Tytus
źródło
1
Jak zdefiniować „można przejść ze stanu ja określić jot„?
mavavilj
1
Naprawdę musisz zapytać swojego nauczyciela. On nie chce cię zjeść.
Titus
kiedy używasz exp (P), masz na myśli wykładniczą macierz? lubmiP.jajot, gdzie i, j jest terminem ij macierzy P?
Hunle,
Mam na myśli wykładniczą macierz
tyt.