Mam problem ze zrozumieniem nieredukowalnej własności łańcucha Markowa .
Mówi się, że nieredukowalny oznacza, że proces stochastyczny może „przejść z dowolnego stanu do dowolnego stanu”.
Ale co określa, czy może przejść ze stanu do stanu , czy nie może przejść?
Strona wikipedia zawiera formalizację:
Stan jest dostępny (zapisany ) ze stanu , jeśli istnieje liczba całkowita st
wtedy komunikacja jest wtedy, gdy i .
Z tych nieredukowalności wynika jakoś.
stochastic-processes
markov-process
mavavilj
źródło
źródło
Odpowiedzi:
Oto trzy przykłady macierzy przejściowych, pierwsze dwa dla przypadku redukowalnego, ostatni dla przypadku nieredukowalnego.
DlaP.2) , możesz dostać się do dowolnego stanu od stanów 1 do 3, ale kiedy będziesz w stanie 4, pozostaniesz tam.
źródło
Stanjot mówi się, że jest dostępny ze stanu ja (zwykle oznaczony przez i → j ), jeśli istnieje n ≥ 0 takie, że:
Jeśli obai → j i j → i zachowaj prawdę wtedy stany ja i jot komunikować się (zwykle oznaczony przez i ↔ j ). Dlatego łańcuch Markowa jest nieredukowalny, jeśli oba dwa państwa się komunikują.
źródło
Pozwolićja i jot być dwoma odrębnymi stanami Łańcucha Markowa. Jeśli istnieje pewne pozytywne prawdopodobieństwo, że proces przejdzie ze stanuja określić jot , niezależnie od liczby kroków (powiedzmy 1, 2, 3⋯ ), wtedy mówimy o tym stanie jot jest dostępny ze stanu ja .
Notacyjnie wyrażamy to jakoi → j . Pod względem prawdopodobieństwa wyraża się w następujący sposób: stanjot jest dostępny ze stanu ja , jeśli istnieje liczba całkowita m > 0 takie, że p( m )I j> 0 .
Podobnie mówimy, żej → i , jeśli istnieje liczba całkowita n > 0 takie, że p( n )j i> 0 .
Teraz, jeśli jedno i drugiei → j i j → i są prawdziwe, wtedy mówimy, że państwa ja i jot komunikują się ze sobą i jest notowane jako i ↔ j . Pod względem prawdopodobieństwa oznacza to, że istnieją dwie liczby całkowitem > 0 ,n > 0 takie, że p( m )I j> 0 i p( n )j i> 0 .
Jeśli wszystkie stany w łańcuchu Markowa należą do jednej zamkniętej komunikującej się klasy , łańcuch ten nazywany jest nieredukowalnym łańcuchem Markowa . Nieredukowalność jest właściwością łańcucha.
W nieredukowalnym łańcuchu Markowa proces może przechodzić z dowolnego stanu do dowolnego stanu , niezależnie od liczby wymaganych kroków.
źródło
Niektóre z istniejących odpowiedzi wydają mi się niepoprawne.
Jak zacytował J. Medhi w Stochastic Processes (str. 79, wydanie 4), łańcuch Markowa jest nieredukowalny, jeśli nie zawiera żadnego odpowiedniego „zamkniętego” podzbioru innego niż przestrzeń stanu.
Jeśli więc w macierzy prawdopodobieństwa przejścia istnieje podzbiór stanów, w którym nie można „dotrzeć” (ani uzyskać dostępu) do innych stanów oprócz tych stanów, łańcuch Markowa można zredukować. W przeciwnym razie łańcuch Markowa jest nieredukowalny.
źródło
Najpierw słowo ostrzeżenia: nigdy nie patrz na matrycę, chyba że masz poważny powód: jedyne, o czym myślę, to sprawdzanie błędnie wpisanych cyfr lub czytanie w podręczniku.
GdybyP. to twoja macierz przejścia, oblicz exp( P) . Jeśli wszystkie wpisy są niezerowe, to macierz jest nieredukowalna. W przeciwnym razie można go zredukować. GdybyP. jest za duży, oblicz P.n z n tak duży, jak możesz. Ten sam test, nieco mniej dokładny.
Nieredukowalność oznacza: możesz przejść z dowolnego stanu do dowolnego innego stanu w skończonej liczbie kroków.
Na przykładzie Christopha HanckaP.3) , nie możesz przejść bezpośrednio ze stanu 1 do stanu 6, ale możesz przejść 1 -> 2 -> 6
źródło