Jaka jest różnica między łańcuchami Markowa a procesami Markowa?

16

Jaka jest różnica między łańcuchami Markowa a procesami Markowa?

Czytam sprzeczne informacje: czasami definicja jest oparta na tym, czy przestrzeń stanu jest dyskretna, czy ciągła, a czasem na tym, czy czas jest dyskretny ciągłego.

Slajd 20 tego dokumentu :

Proces Markowa nazywany jest łańcuchem Markowa, jeśli przestrzeń stanu jest dyskretna, tj. Jest skończona lub policzalna przestrzeń jest dyskretna, tj. Jest skończona lub policzalna.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Proces Markowa jest ciągłą wersją łańcucha Markowa.

Albo można użyć synonimicznie łańcucha Markowa i procesu Markowa, co predysponuje, czy parametr czasu jest ciągły czy dyskretny, a także czy przestrzeń stanu jest ciągła czy dyskretna.

Aktualizacja 2017-03-04: to samo pytanie zostało zadane na https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchange zamiennie

terminology stochastic-processes markov-process Franck Dernoncourt
źródło
1
Z mojego doświadczenia wynika, że ​​pierwsza definicja jest błędna. Łańcuchy Markowa są często używane w kontekście pobierania próbek z dystrybucji tylnej (MCMC). Te tylne mogą być zdefiniowane w skończonej lub ciągłej przestrzeni stanu; więc pierwsza definicja jest prawdopodobnie nieprawidłowa. Drugi ma większy sens. Nie wydaje mi się jednak, żeby istniała jakaś różnica, ponieważ często widziałem wyrażenie ciągłe łańcuchy Markowa w czasie.
Greenparker
1
pamiętam, czego nauczyłem się z podręcznika, że ​​proces Markowa jest terminem najbardziej ogólnym, a łańcuch Markowa jest czasem dyskretnym, a stan dyskretnym przypadkiem szczególnym.
Haitao Du

Odpowiedzi:

8

Od przedmowy do pierwszego wydania „Markov Chains and Stochastic Stability” autorstwa Meyn i Tweedie:

Mamy tutaj do czynienia z Łańcuchami Markowa. Pomimo początkowych prób Dooba i Chunga [99,71] zarezerwowania tego terminu dla systemów rozwijających się w policzalnych przestrzeniach z dyskretnymi i ciągłymi parametrami czasowymi, wydaje się, że użycie zadecydowało (patrz na przykład Revuz [326]), że łańcuchy Markowa się wprowadzają dyskretny czas w dowolnej przestrzeni; i takie systemy opisujemy tutaj.

Edycja: referencje cytowane przez moje referencje to odpowiednio:

99: JL Doob. Procesy stochastyczne . John Wiley & Sons, New York 1953

71: KL Chung. Łańcuchy Markowa ze stacjonarnymi prawdopodobieństwami przejścia . Springer-Verlag, Berlin, drugie wydanie, 1967.

326: D. Revuz. Łańcuchy Markowa . Północna Holandia, Amsterdam, drugie wydanie, 1984 r.

Taylor
źródło
6

Jedna metoda klasyfikacji procesów stochastycznych opiera się na naturze time parameter( dyskretna lub ciągła ) i state space( dyskretna lub ciągła ). Prowadzi to do czterech kategorii procesów stochastycznych.

Jeśli state spaceproces stochastyczny jest dyskretny , niezależnie od tego, czy time parameterjest dyskretny, czy ciągły , proces jest zwykle nazywany łańcuchem .

Jeśli proces stochastyczny posiada właściwość Markowa , niezależnie od charakteru parametru czasu (dyskretny lub ciągły) i przestrzeni stanów (dyskretny lub ciągły) , wówczas nazywa się to procesem Markowa . W związku z tym będziemy mieć cztery kategorie procesów Markowa.

continuous time parameter, discrete state spaceStochastyczny procesowe posiadające właściwość Markowa nazywa się ciągły łańcuch parametr Markowa (CTMC) .

discrete time parameter, discrete state spaceStochastyczny proces Markowa posiadających właściwość jest nazywany dyskretnych parametrów Markowa łańcuch (DTMC) .

Podobnie możemy mieć dwa inne procesy Markowa.

Aktualizacja 2017-03-09:

Every independent increment process is a Markov process.

Poisson processposiadanie właściwości niezależnego przyrostu jest Markov processdyskretne z parametrem czasu i przestrzenią stanu.

Brownian motion processposiadanie właściwości niezależnego przyrostu jest Markov processparametrem o czasie ciągłym i procesem ciągłej przestrzeni stanu.

LVRao
źródło