Kiedy Markowa pól losowych

21

W swoim podręczniku, graficznych modelach rodziny wykładniczej i wariacyjne Inference , M. Jordana i M. Wainwright omówić związek między rodzinami wykładnicze i Markowa pól losowych (nieukierunkowane modeli graficznych).

Staram się lepiej zrozumieć związek między nimi za pomocą następujących pytań:

  • Czy wszyscy członkowie MRF należą do rodzin wykładniczych?
  • Czy wszyscy członkowie z rodziny wykładniczej mogą być reprezentowani jako MRF?
  • Jeśli MRF Rodziny wykładnicze, jakie są dobre przykłady rozkładów jednego typu nieuwzględnionych w drugim ?

Z tego, co rozumiem w ich podręczniku (rozdział 3), Jordan i Wainwright przedstawiają kolejny argument:


  1. Powiedzmy, że mamy skalarną zmienną losową X, która podąża za pewnym rozkładem , i narysujemy obserwacje , i chcemy zidentyfikować .n X 1 , X n ppnX1,Xnp

  2. Obliczamy oczekiwania empiryczne niektórych funkcjiϕα

    αIμ^α=1nja=1nϕα(Xja), dla wszystkichαja

    gdzie każdy w jakimś zbiorze indeksuje funkcjęI ϕ α : XRαjaϕα:XR

  3. Następnie, jeśli wymuszimy spójność następujących dwóch zestawów wielkości, tj. Dopasowania (w celu zidentyfikowania ):p

    • Oczekiwania wystarczających statystyk rozkładuϕ pmip[(ϕα(X)]=Xϕα(x)p(x)ν(rex)ϕp

    • Oczekiwania w ramach rozkładu empirycznego

otrzymujemy niedookreślony problem w tym sensie, że istnieje wiele rozkładów które są zgodne z obserwacjami. Potrzebujemy więc zasady wyboru między nimi (aby zidentyfikować ).pp

Jeśli zastosujemy zasadę maksymalnej entropii do usunięcia tej nieokreśloności, możemy uzyskać pojedynczy :p

p=zarsolmzaxpP.H.(p) zastrzeżeniem for allmip[(ϕα(X)]=μ^ααja

gdzie to przyjmuje postać exp gdzie reprezentuje parametryzację rozkładu w postaci wykładniczej rodziny.ppθ(x)αjaθαϕα(x),θRre

Innymi słowy, jeśli my

  1. Spraw, aby oczekiwania dotyczące rozkładów były zgodne z oczekiwaniami w ramach rozkładu empirycznego
  2. Użyj zasady maksymalnej entropii, aby pozbyć się nieokreślenia

z rozkładem rodziny wykładniczej.


Jednak wygląda to bardziej na argument za wprowadzeniem wykładniczych rodzin i (o ile rozumiem) nie opisuje związku między MRF a exp. rodziny. Czy coś mi brakuje?

Amelio Vazquez-Reina
źródło
3
Myślę, że jest tam pewne zamieszanie: [MRF] ( en.wikipedia.org/wiki/Markov_random_field ) nie są zdefiniowane zgodnie z zasadą maksymalnej entropii, ale same w sobie, przez fakt, że gęstość rozkłada się zgodnie z klikami wykres. MRF to rodziny wykładnicze ze względu na ich logarytmiczną reprezentację.
Xi'an
Dzięki @ Xi'an. Ta część „ MRF są zdefiniowane przez fakt, że gęstość gęstości zależy od kliku wykresu ”, to, co zawsze uważałem, definiuje MRF. Ale dlaczego ta właściwość sprawia, że ​​wszystkie MRF należą do rodzin wykładniczych? A jakie są przykłady (jeśli istnieją) dowolnego typu (MRF lub rodziny exp), które nie są członkami innego typu?
Amelio Vazquez-Reina,
1
Nie jestem pewien, ile to dla ciebie doda, ale jedną rzeczą, która może to uczynić bardziej zrozumiałym, jest przeczytanie oryginalnej formuły dystrybucji Gibbs i MRF w tym artykule Gemana i Gemana . Zasadniczo, cała idea polega na zamodelowaniu czegoś z rozkładem Boltzmana (exp do minus coś), a następnie zapytaniu, jak to coś rozkłada. Z powodu takiego sposobu opisu może być bardziej oczywiste ich związek z wykładniczymi rodzinami.
ely
3
Rodziny wykładnicze są zdefiniowane przez fakt, że gęstość logarytmiczna jest zasadniczo iloczynem skalarnym funkcji wektorowej obserwacji i funkcji wektorowej parametrów. W tej definicji nie ma struktury graficznej. MRF obejmują dodatkowo wykres, który definiuje kliki, dzielnice i tc. Stąd MRF to rodziny wykładnicze z dodatkową strukturą, wykresem.
Xi'an
1
Myślę, że zamieszanie w sprzecznych komentarzach / odpowiedzi sprowadza się do tego, czy wolno ci wprowadzać czynniki, które nie są logiczne w odniesieniu do ich parametrów.
Yaroslav Bulatov

Odpowiedzi:

14

Masz całkowitą rację - przedstawiony przez ciebie argument wiąże rodzinę wykładniczą z zasadą maksymalnej entropii, ale nie ma nic wspólnego z MRF.

Aby odpowiedzieć na trzy pierwsze pytania:

Czy wszyscy członkowie z rodziny wykładniczej mogą być reprezentowani jako MRF?

P.(X=x)=dodol(sol)ϕdo(Xdo=xdo)
dol(sol)sol. Na podstawie tej definicji widać, że w pełni połączony wykres, choć całkowicie pozbawiony informacji, jest zgodny z każdą dystrybucją.

Czy wszyscy członkowie MRF należą do rodzin wykładniczych?

zarmi

Rozkłady mieszanin są częstymi przykładami niewykładniczych rozkładów rodzin. Rozważ liniowy model przestrzeni stanu Gaussa (jak ukryty model Markowa, ale z ciągłymi ukrytymi stanami oraz przejściami Gaussa i rozkładami emisji). Jeśli zamienisz jądro przejścia na mieszaninę Gaussów, wynikowy rozkład nie będzie już należał do rodziny wykładniczej (ale nadal zachowa bogatą strukturę niezależności warunkowej charakterystyczną dla praktycznych modeli graficznych).

[1] http://en.wikipedia.org/wiki/Markov_random_field

Drew
źródło