W swoim podręczniku, graficznych modelach rodziny wykładniczej i wariacyjne Inference , M. Jordana i M. Wainwright omówić związek między rodzinami wykładnicze i Markowa pól losowych (nieukierunkowane modeli graficznych).
Staram się lepiej zrozumieć związek między nimi za pomocą następujących pytań:
- Czy wszyscy członkowie MRF należą do rodzin wykładniczych?
- Czy wszyscy członkowie z rodziny wykładniczej mogą być reprezentowani jako MRF?
- Jeśli MRF Rodziny wykładnicze, jakie są dobre przykłady rozkładów jednego typu nieuwzględnionych w drugim ?
Z tego, co rozumiem w ich podręczniku (rozdział 3), Jordan i Wainwright przedstawiają kolejny argument:
Powiedzmy, że mamy skalarną zmienną losową X, która podąża za pewnym rozkładem , i narysujemy obserwacje , i chcemy zidentyfikować .n X 1 , … X n p
Obliczamy oczekiwania empiryczne niektórych funkcji
α∈I dla wszystkich
gdzie każdy w jakimś zbiorze indeksuje funkcjęI ϕ α : X → R
Następnie, jeśli wymuszimy spójność następujących dwóch zestawów wielkości, tj. Dopasowania (w celu zidentyfikowania ):
Oczekiwania wystarczających statystyk rozkładuϕ p
Oczekiwania w ramach rozkładu empirycznego
otrzymujemy niedookreślony problem w tym sensie, że istnieje wiele rozkładów które są zgodne z obserwacjami. Potrzebujemy więc zasady wyboru między nimi (aby zidentyfikować ).
Jeśli zastosujemy zasadę maksymalnej entropii do usunięcia tej nieokreśloności, możemy uzyskać pojedynczy :
zastrzeżeniem for all
gdzie to przyjmuje postać exp gdzie reprezentuje parametryzację rozkładu w postaci wykładniczej rodziny.
Innymi słowy, jeśli my
- Spraw, aby oczekiwania dotyczące rozkładów były zgodne z oczekiwaniami w ramach rozkładu empirycznego
- Użyj zasady maksymalnej entropii, aby pozbyć się nieokreślenia
z rozkładem rodziny wykładniczej.
Jednak wygląda to bardziej na argument za wprowadzeniem wykładniczych rodzin i (o ile rozumiem) nie opisuje związku między MRF a exp. rodziny. Czy coś mi brakuje?
źródło
Odpowiedzi:
Masz całkowitą rację - przedstawiony przez ciebie argument wiąże rodzinę wykładniczą z zasadą maksymalnej entropii, ale nie ma nic wspólnego z MRF.
Aby odpowiedzieć na trzy pierwsze pytania:
Rozkłady mieszanin są częstymi przykładami niewykładniczych rozkładów rodzin. Rozważ liniowy model przestrzeni stanu Gaussa (jak ukryty model Markowa, ale z ciągłymi ukrytymi stanami oraz przejściami Gaussa i rozkładami emisji). Jeśli zamienisz jądro przejścia na mieszaninę Gaussów, wynikowy rozkład nie będzie już należał do rodziny wykładniczej (ale nadal zachowa bogatą strukturę niezależności warunkowej charakterystyczną dla praktycznych modeli graficznych).
[1] http://en.wikipedia.org/wiki/Markov_random_field
źródło