Jaka jest różnica między (dynamiczną) siecią Bayesa a HMM?

Czytałem, że HMM, filtry cząstek i filtry Kalmana są szczególnymi przypadkami dynamicznych sieci Bayesa. Jednak znam tylko HMM i nie widzę różnicy w stosunku do dynamicznych sieci Bayesa.

Czy ktoś mógłby wyjaśnić?

Byłoby miło, gdyby Twoja odpowiedź była podobna do następującej, ale w przypadku bayes Networks:

Ukryte modele Markowa

Ukryty model Markowa (HMM) to 5-krotna :$\lambda = (S, O, A, B, \Pi)$

• $S \neq \emptyset$ : zestaw stanów (np. „Początek fonemu”, „środek fonemu”, „koniec fonemu”)
• $O \neq \emptyset$ : zestaw możliwych obserwacji (sygnałów audio)
• $A \in \mathbb{R}^{|S| \times |S|}$ : macierz stochastyczna, która daje probabilitom możliwość przejścia ze stanu do stanu .$(a_{ij})$$i$$j$
• $B \in \mathbb{R}^{|S| \times |O|}$ : macierz stochastyczna, która daje probabilitom aby uzyskać stan obserwacji .$(b_{kl})$$k$$l$
• $\Pi \in \mathbb{R}^{|S|}$ : Początkowa dystrybucja rozpoczyna się w jednym ze stanów.

Zwykle jest wyświetlany jako ukierunkowany wykres, gdzie każdy węzeł odpowiada jednemu stanowi a prawdopodobieństwo przejścia jest oznaczone na krawędziach.$s \in S$

Ukryte modele Markowa nazywane są „ukrytymi”, ponieważ obecny stan jest ukryty. Algorytmy muszą odgadnąć to na podstawie obserwacji i samego modelu. Nazywa się je „Markov”, ponieważ dla następnego stanu liczy się tylko stan obecny.

W przypadku HMM podajesz stałą topologię (liczbę stanów, możliwe krawędzie). Następnie są 3 możliwe zadania

• Ocena : biorąc pod uwagę HMM , jak prawdopodobne jest uzyskanie obserwacji (algorytm )$\lambda$$o_1, \dots, o_t$
• Dekodowanie : biorąc pod uwagę HMM i obserwacje , jaka jest najbardziej prawdopodobna sekwencja stanów (algorytm Viterbiego)$\lambda$$o_1, \dots, o_t$$s_1, \dots, s_t$
• Nauka : naucz się algorytmu : Baum-Welch , który jest szczególnym przypadkiem maksymalizacji Oczekiwania.$A, B, \Pi$

Sieci Bayesa

Sieci Bayesa są skierowanymi grafami acyklicznymi (DAG) . Węzły reprezentują zmienne losowe . Dla każdego istnieje rozkład prawdopodobieństwa, który jest zależny od rodziców :$G = (\mathcal{X}, \mathcal{E})$$X \in \mathcal{X}$$X$$X$

Wydaje się, że istnieją (proszę wyjaśnić) dwa zadania:

• Wnioskowanie : Biorąc pod uwagę niektóre zmienne, uzyskaj najbardziej prawdopodobne wartości innych zmiennych. Dokładne wnioskowanie jest trudne NP. W przybliżeniu możesz użyć MCMC.

• Nauka : sposób uczenia się tych rozkładów zależy od dokładnego problemu ( źródła ):

  • znana struktura, w pełni obserwowalna: oszacowanie maksymalnego prawdopodobieństwa (MLE)
  • znana struktura, częściowo obserwowalna: Expectation Maximization (EM) lub Markov Chain Monte Carlo (MCMC)
  • nieznana struktura, w pełni obserwowalna: przeszukiwanie przestrzeni modelu
  • nieznana struktura, częściowo obserwowalna: EM + przeszukiwanie przestrzeni modelu

Dynamiczne sieci Bayesa

Sądzę, że dynamiczne sieci Bayesa (DBN) są również ukierunkowanymi probabilistycznymi modelami graficznymi. Wydaje się, że zmienność wynika ze zmieniającej się z czasem sieci. Wydaje mi się jednak, że jest to równoważne z kopiowaniem tylko tej samej sieci i łączeniem każdego węzła w czasie z każdym odpowiednim węzłem w czasie . Czy tak jest w przypadku?$t$$t+1$

Z podobnego pytania dotyczącego weryfikacji krzyżowej wynika odpowiedź @jerad :

HMM nie są równoważne DBN, są raczej szczególnym przypadkiem DBN, w których cały stan świata jest reprezentowany przez jedną zmienną stanu ukrytego. Inne modele w ramach DBN uogólniają podstawowy HMM, pozwalając na więcej zmiennych stanu ukrytego (wiele różnych odmian znajduje się w drugiej pracy powyżej).

Wreszcie nie, DBN nie zawsze są dyskretne. Na przykład liniowe modele stanu Gaussa (filtry Kalmana) można traktować jako HMM o ciągłej wartości, często używane do śledzenia obiektów w przestrzeni.

Polecam przejrzeć te dwa doskonałe artykuły przeglądowe:

• Wprowadzenie do ukrytych modeli Markowa i sieci bayesowskich autorstwa Zoubina Gharamani
• Dynamiczne sieci bayesowskie Kevina Murphy'ego