Modele Markowa z prawdopodobieństwami warunkowego przejścia

10

Po pierwsze, muszę przyznać, że nie jestem tak dobrze zorientowany w statystyce i matematyce, jak bym chciał. Niektórzy mogą powiedzieć, że mają wystarczającą wiedzę, aby być niebezpiecznym. : DI przepraszam, jeśli nie używam terminologii poprawnie.

Próbuję modelować prawdopodobieństwo przejścia systemu z jednego stanu do drugiego. Prosty model Markowa to dobry początek. (Zbiór stanów, zbiór prawdopodobieństw stanu początkowego, zbiór prawdopodobieństw przejścia między stanami.)

Modelowany przeze mnie system jest jednak bardziej złożony. Prawdopodobieństwa przejścia prowadzące do stanu w czasie T z pewnością zależą od zmiennych innych niż stan w T-1. Na przykład S1 -> S2 może mieć prawdopodobieństwo przejścia 40%, gdy świeci słońce, ale prawdopodobieństwo S1 -> S2 wzrasta do 80%, gdy pada deszcz.

Dodatkowe informacje z pytań komentujących:

  1. Stany są obserwowalne.
  2. Będzie tylko 5-10 stanów.
  3. Obecnie mamy około 30 zmiennych towarzyszących, które chcemy zbadać, chociaż ostateczny model z pewnością będzie miał mniej niż to.
  4. Niektóre zmienne towarzyszące są ciągłe, inne są dyskretne.

Trzy pytania:

  1. Jak włączyć prawdopodobieństwo warunkowego przejścia do mojego modelu Markowa?
  2. Czy też jest zupełnie inna perspektywa, z której powinienem podejść do tego problemu?
  3. Ponadto, jakich słów kluczowych / pojęć powinienem szukać w Internecie, aby dowiedzieć się więcej na ten temat?

Byłem już w Internecie szukając takich rzeczy jak „modele markowa z prawdopodobieństwem warunkowego przejścia”, ale jak dotąd nic nie uderzyło mnie w twarz i nie powiedziałem: „To twoja odpowiedź, manekinie!”

Dziękujemy za pomoc i cierpliwość.

markov-process conditional-probability Aaron Johnson
źródło
Witamy na stronie. Jak duża jest przestrzeń państwowa? Czy obserwujesz stan, w którym proces jest na każdym etapie? Ile masz zmiennych towarzyszących (dodatkowe predyktory)? Czy są ciągłe, dyskretne, czy może mieszanka obu?
kardynał
Dzięki kardynałowi. Tak, stany są obserwowalne. Prawdopodobnie będzie od 5 do 10 stanów. (Nadal nie jest pewne, ale nie spodziewam się bardzo dużej przestrzeni stanów.) Obecnie mamy listę około 30 dodatkowych zmiennych towarzyszących, które zamierzamy zbadać, chociaż większość z nich prawdopodobnie nie przyniesie większego efektu. Niektóre są ciągłe, a niektóre dyskretne.
Aaron Johnson,

Odpowiedzi:

5

Zawsze możesz mieć łańcuch markowa drugiego lub wyższego rzędu. W takim przypadku gotowy model zawiera wszystkie informacje na temat przejścia probabilistycznego. Możesz sprawdzić Dynamic Bayesian Networks, który jest graficznym uogólnieniem modelu łańcuchów Markowa, które są często wykorzystywane w uczeniu maszynowym.

YBE
źródło
YBE, dziękuję za szybką odpowiedź! Czy to (modelowanie systemu jako drugiego rzędu lub wyższego łańcucha) pozwala mi modelować ciągłe zmienne towarzyszące, czy tylko dyskretne zmienne towarzyszące? Czy możesz wskazać mi link, który daje dobry przykład tego, o czym mówisz? Dzięki!
Aaron Johnson
Jest papier, który możesz sprawdzić. Najpierw zaczyna opisywać łańcuchy pierwszego rzędu, a następnie opisuje sytuację łańcuchów wyższego rzędu. (Wielowariantowe łańcuchy Markowa wyższego rzędu i ich zastosowania: Ching, Ng, Fung) Jeśli interesują Cię rzeczy związane z uczeniem maszynowym, sugeruję zajrzenie na stronę Kevina Murphy'ego. Ma także zestaw narzędzi MATLAB, z którym możesz grać.
YBE
+1 do Twojej odpowiedzi za odniesienie do papieru Ching, Ng i Fung. To dobrze mieć. Jednak po przeczytaniu go wydaje się, że obejmuje on tylko zmienne dyskretne (co jest tego rodzaju, czego się spodziewałem). Chociaż mogę dyskretyzować zmienne ciągłe, nadal jestem ciekawy - czy są jakieś modele, które mogłyby obsłużyć nieprzetworzone ciągłe zmienne?
Aaron Johnson
Nie jestem ekspertem, ale myślę, że wyniki powinny ogólnie trwać w sposób ciągły. Na przykład filtr Kalmana działa na HMM (łańcuch markowa 1. rzędu) ze stanami ciągłymi.
YBE
Nie od razu wybrałem twoją odpowiedź, ponieważ czekałem na kolejnych kandydatów. Nigdy nie przyszli i zapomniałem o tym. Dwa lata później nagradzam cię, akceptując twoją odpowiedź. Dzięki za informację! Nawiasem mówiąc, czy natknąłeś się jeszcze na ten temat w ciągu ostatnich dwóch lat? Wciąż mnie to interesuje.
Aaron Johnson
0

Zadawałem sobie to samo pytanie i czy naprawdę wystarczy modelować wynik w oparciu o stan w T1i współzmienne, możesz znaleźć pakiet msm w R. pomocny.

Ten pakiet wydaje się być całkiem dobrym narzędziem do modelowania wpływu zmiennych towarzyszących na przejścia między kategorycznymi wynikami w czasie. Nie pomogłoby to, jeśli naprawdę potrzebujesz łańcucha wyższego rzędu, ale nie wydaje się, aby tak było w oparciu o twoje pierwotne pytanie.

Eric Czech
źródło