Jak uzyskać próbkowanie Gibbsa?

W rzeczywistości waham się zadać to pytanie, ponieważ obawiam się, że zostaną skierowane do innych pytań lub Wikipedii na temat pobierania próbek Gibbs, ale nie mam wrażenia, że ​​opisują to, co jest pod ręką.

Biorąc pod uwagę prawdopodobieństwo warunkowe : p ( x | y ) y = y 0 y = y 1 x = x 0 $p(x|y)$

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

I prawdopodobieństwo warunkowe : p ( y | x ) y = y 0 y = y 1 x = x 0 $p(y|x)$

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

Możemy wyjątkowo wymyślić wspólne prawdopodobieństwo :$f_{unique}=p(x,y)$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

Ponieważ chociaż mamy niewiadomych, mamy więcej ( ) równań liniowych:4 ∗ 2 + $8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Jak również:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Szybko rozwiązuje to , . Mianowicie poprzez zrównanie \ tfrac {2} {4} b_0 = a_1 z \ tfrac {2} {6} (1-b_0) = a_1 . To daje b_0 = \ tfrac {2} {5}, a reszta następuje.$c_0=\tfrac{3}{4}b_0$$\tfrac{2}{3}c_0=a_1$$\tfrac{2}{4}b_0=a_1$$\tfrac{2}{6}(1-b_0)=a_1$$b_0=\tfrac{2}{5}$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

Teraz przechodzimy do ciągłego przypadku. Można sobie wyobrazić interwały i zachować powyższą strukturę w dotyku (z większą liczbą równań niż niewiadomych). Co jednak dzieje się, gdy przechodzimy do (punktowych) instancji zmiennych losowych? Jak działa pobieranie próbek

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

iteracyjnie, prowadzić do ? Odpowiednik ograniczenia , w jaki sposób zapewnia on na przykład ? Podobnie z . Czy możemy zapisać ograniczenia i wyprowadzić próbkowanie Gibbsa z pierwszych zasad?a 0 + a 1 + a 2 + a 3 = 1 ∫ X ∫ Y p ( x , y ) d y d x = 1 ∫ Y p ( y | x ) d $p(x,y)$$a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$

Nie interesuje mnie więc, jak przeprowadzić próbkowanie Gibbsa, co jest proste, ale interesuje mnie sposób jego uzyskania, a najlepiej, jak udowodnić, że działa (prawdopodobnie pod pewnymi warunkami).

Obliczenie wspólnego rozkładu z rozkładów warunkowych jest bardzo trudne. Jeśli rozkłady warunkowe zostaną wybrane arbitralnie, wspólny rozkład wspólny może nawet nie istnieć. W takim przypadku nawet wykazanie, że rozkłady warunkowe są spójne, jest na ogół trudne. Jednym z rezultatów, który można wykorzystać do wyprowadzenia wspólnej dystrybucji, jest lemat Brook'a , wybierając stan stały , chociaż sam nigdy z powodzeniem go nie wykorzystałem do tego celu. Aby uzyskać więcej na ten temat, przyjrzałbym się pracy Juliana Besaga.

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ $\mathbf{x}'$

Aby udowodnić, że próbkowanie Gibbsa działa, lepiej wybrać inną trasę. Jeśli łańcuch Markowa zaimplementowany przez algorytm próbkowania ma rozkład jako rozkład niezmienny i jest nieredukowalny i aperiodyczny , łańcuch Markowa zbiegnie się do tego rozkładu (Tierney, 1994) .$p$

Próbkowanie Gibbsa zawsze pozostawia niezmiennik wspólnego rozkładu, z którego wyprowadzono rozkłady warunkowe: Z grubsza, jeśli i , to$(x_0, y_0) \sim p(x_0, y_0)$$x_1 \sim p(x_1 \mid y_0)$

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

Oznacza to, że aktualizacja przez warunkowe próbkowanie nie zmienia rozkładu próbki.$x$

Jednak próbkowanie Gibbsa nie zawsze jest nieredukowalne . Chociaż zawsze możemy go zastosować bez rozbijania rzeczy (w tym sensie, że jeśli mamy już próbkę z pożądanego rozkładu, to nie zmieni rozkładu), to zależy od wspólnego rozkładu, czy próbkowanie Gibbsa rzeczywiście się do niego zbiegnie (wystarczy warunkiem nieredukowalności jest to, że gęstość jest wszędzie dodatnia, ).$p(\mathbf{x}) > 0$