Czy pełne warunki warunkowe mogą określić rozkład połączeń?

To pozornie proste pytanie jest głębsze niż się wydaje, prowadząc nas aż do twierdzenia Hammersley-Clifford. Fakt, że możemy odzyskać rozkład połączeń z pełnych warunków warunkowych, sprawia, że sampler Gibbs jest możliwy. Może to być postrzegane jako zaskakujący wynik, jeśli pamiętamy, że marginesy nie determinują wspólnego rozkładu.

Zobaczmy, co się stanie, jeśli dokonamy formalnego obliczenia przy użyciu dobrze znanych definicji gęstości złącza, warunków warunkowych i marginesów. Od

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$ mamy

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{Y} (y)}{f_{X} (x)} d y = \frac{1}{f_{X} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$ i możemy formalnie odzyskać gęstość spoiny po pełnym wykonaniu warunków

f_{X, Y} (x, y) = \frac{f_{Y ∣ X} (y ∣ x)}{\int f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

Problem z tym formalnym obliczeniem polega na tym, że zakłada on, że wszystkie zaangażowane obiekty istnieją.

Na przykład zastanów się, co się stanie, jeśli otrzymamy to

X ∣ Y = y \sim Exp (y) and Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$ Wynika, że

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$ oraz całka w mianowniku

(*)

$(*)$ rozbieżne.

Aby zagwarantować, że możemy odzyskać gęstość stawów z pełnych warunków warunkowych za pomocą $(*)$ potrzebujemy warunków zgodności omówionych w tym dokumencie:

„Compatible Conditional Distribution”, Barry C. Arnold i S. James Press, Journal of American Statistics Association, t. 84, nr 405 (1989), s. 152–156.

Na koniec przeczytaj dyskusję na temat twierdzenia Hammersleya-Clifforda w książce Roberta i Caselli

Zen
źródło

Czy możesz wyjaśnić, co należy rozumieć przez „całka… istnieje”? Wydaje się, że są tutaj dwie różne kwestie, mianowicie. (i) robi całkę

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ istnieje czy nie? oraz (ii) jeżeli całka istnieje, to jej wartość

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ? Czy mówisz to za każdym razem

X

$X$ i

Y

$Y$ mają gęstości warunkowe, takie jak

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ istnieje, więc musi być tak, że wartość całki wynosi

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ?

Dilip Sarwate

Dzięki, @Zen!

f_{Y}

$f_Y$ i

f_{X | Y}

$f_{X|Y}$ można ustalić

f_{X, Y}

$f_{X,Y}$ , i

f_{Y | X}

$f_{Y|X}$ i

f_{X | Y}

$f_{X|Y}$ może również ustalić

f_{X, Y}

$f_{X,Y}$ . (1) Który zawiera więcej informacji,

f_{Y}

$f_Y$ lub

f_{Y | X}

$f_{Y|X}$ ? (2) Który zapewnia mniej zbędnych / pokrywających się informacji

f_{X | Y}

$f_{X|Y}$ ,

f_{Y}

$f_Y$ lub

f_{Y | X}

$f_{Y|X}$ ? (3) Z

f_{Y}

$f_Y$ i

f_{Y | X}

$f_{Y|X}$ , czy jedno z nich już udostępnia informacje drugiego (co wątpię, ponieważ oznaczałoby to, że jedno prowadzi do drugiego)? Wydaje mi się, że jest to „skrzyżowanie” informacji

f_{Y}

$f_Y$ i

f_{Y | X}

$f_{Y|X}$ , który wraz z

f_{X | Y}

$f_{X|Y}$ określa

f_{X, Y}

$f_{X,Y}$ .

Tim

Cześć @Tim.

f_{Y}

$f_Y$ reprezentuje twoją niepewność

Y

$Y$ , podczas

f_{Y ∣ X}

$f_{Y\mid X}$ reprezentuje twoją niepewność

Y

$Y$ , biorąc pod uwagę, że znasz wartość

X

$X$ . „Który zawiera więcej informacji?” to nie jest łatwe pytanie. Gdyby

f_{X ∣ Y}

$f_{X\mid Y}$ i

f_{Y ∣ X}

$f_{Y\mid X}$ są kompatybilne (w znaczeniu Arnolda i Press), a następnie określają

f_{X, Y}

$f_{X,Y}$ przez

(*)

$(*)$ .

Zen.

Obecnie mam problem z tym samym problemem. Jestem trochę zdezorientowany potrzebą kompatybilnych dystrybucji warunkowych, ponieważ nigdy nie są one wspomniane w żadnym (przynajmniej tym, które przeczytałem) wprowadzeniu do Gibbs Sampling. Czy też potrzeba kompatybilnych dystrybucji warunkowych obowiązuje tylko wtedy, gdy ktoś próbuje formalnie odzyskać wspólne rozkłady, np. Przez (*). -> nie zbliżasz się do rozkładu wspólnego za pomocą Gibbs Sampling?

sklingel

W zwykłym ustawieniu próbkowania Gibbsa stosowanym do problemu statystycznego zakłada się, że istnieje rozkład prawdopodobieństwa stawu (tylny), a zatem pełne warunki warunkowe pochodzące z tego rozkładu stawu są kompatybilne. Poza tym przypadkiem próbkowanie Gibbsa jest bez znaczenia.

Xi'an

Czy pełne warunki warunkowe mogą określić rozkład połączeń?

Odpowiedzi: