Jakie są definicje priory sprzężonych i warunkowych sprzężonych priorów?

Jakie są definicje częściowo sprzężonych priorów i warunkowych sprzężonych priorów ? Znalazłem je w analizie danych bayesowskich Gelmana , ale nie mogłem znaleźć ich definicji.

Stosując definicję w analizie danych bayesowskich (wydanie 3) , jeśli $\mathcal{F}$ jest klasą rozkładów próbkowania $p(y|\theta)$ , a $\mathcal{P}$ jest klasą wcześniejszych rozkładów dla $\theta$ , to klasa $\mathcal{P}$ jest sprzężona z $\mathcal{F}$ jeśli

$$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$$

Jeśli $\mathcal{F}$ jest klasą rozkładów próbkowania $p(y|\theta,\phi)$ , a $\mathcal{P}$ jest klasą wcześniejszych rozkładów dla $\theta$ od $\phi$ , to klasa $\mathcal{P}$ jest sprzężona warunkowa dla $\mathcal{F}$ jeżeli

$$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$$

Warunkowo sprzężone priory są wygodne w konstruowaniu samplera Gibbsa, ponieważ pełną warunkową będzie znana rodzina.

Przeszukałem elektroniczną wersję analizy danych bayesowskich (wydanie trzecie) i nie mogłem wcześniej znaleźć odniesienia do półkoniugatu. Domyślam się, że jest to synonim warunkowo koniugatu, ale jeśli podasz odniesienie do jego zastosowania w książce, powinienem być w stanie podać definicję.

Jako przykład chciałbym użyć normalnej zmiennej wielowymiarowej.

Przypomnij, że prawdopodobieństwo jest podane przez

$$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$$

Aby znaleźć to prawdopodobieństwo, możemy wybrać

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

Zapewniam cię, że nie musisz się martwić o ; są to po prostu parametry wcześniejszej dystrybucji.$\mu_0,\Lambda_0,\nu_0,S_0$

Ważne jest jednak, aby nie wiązało się to z prawdopodobieństwem. Aby zobaczyć dlaczego, chciałbym zacytować referencję, którą znalazłem w Internecie.

zauważ, że i pojawiają się razem w sposób niefaktoryzowany; dlatego będą one również połączone ze sobą z tyłu$\mu$$\Sigma$

Odniesieniem jest „Machine Learning: A Probabilistic Perspective” Kevina P. Murphy'ego. Oto link . Cytat można znaleźć w punkcie 4.6 (Wnioskowanie o parametrach MVN) na górze strony 135.

Aby kontynuować wycenę,

Powyższy uprzedni nazywany jest czasami pół-koniugatem lub warunkowo koniugatem , ponieważ oba warunki warunkowe, i , są indywidualnie sprzężone. Aby utworzyć pełny koniugat przed , musimy użyć przeora, w którym i są od siebie zależne. Zastosujemy wspólną dystrybucję formularza$p(\mu|\Sigma)$$p(\Sigma|\mu)$$\mu$$\Sigma$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

Chodzi o to, że pierwsza wcześniejsza dystrybucja

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

zakłada, że i są rozdzielne (lub w pewnym sensie niezależne). Niemniej jednak obserwujemy, że w funkcji prawdopodobieństwa i nie mogą być podzielone na czynniki osobno, co oznacza, że ​​nie będzie można ich rozdzielić w późniejszym (Przypomnij, ). To pokazuje, że „nierozdzielalne” tylne i „rozłączne” na początku nie są sprzężone. Z drugiej strony, przepisującΣ μ Σ ( Tylna ) ∼ ( Poprzednia ) ( Prawdopodobieństwo $\mu$$\Sigma$$\mu$$\Sigma$$(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

tak, że i zależą od siebie (poprzez ), uzyskasz koniugat przed, który jest nazwany jako pół-koniugat przed . Mam nadzieję, że to odpowiada na twoje pytanie.Σ p ( μ | Σ $\mu$$\Sigma$$p(\mu|\Sigma)$

ps : Innym naprawdę przydatnym odniesieniem, którego użyłem, jest „Pierwszy kurs bayesowskich metod statystycznych” Petera D. Hoffa. Oto link do książki. Odpowiednie treści można znaleźć w rozdziale 7, zaczynając od strony 105, a on ma bardzo dobre wyjaśnienie (i intuicję) na temat rozkładu normalnego pojedynczego wariantu w rozdziale 5, począwszy od strony 67, który zostanie ponownie wzmocniony w rozdziale 7, gdy zajmie się MVN.

Jeśli jest klasą rozkładów próbkowania , a jest klasą wcześniejszych rozkładów dla , to klasa jest półprzewodnikiem dla jeżeli dla wszystkich i , gdzie i nie należy do klasy .$F$$p(y|θ,ϕ)$θ P F p ( θ | y , ϕ ) ∈ P p ( ⋅ | θ , ϕ ) ∈ F p ( θ , ϕ ) = p ( θ ) × p ( ϕ ) p ( θ ) ∈ P p ( ϕ ) $P$$θ$$P$$F$$p(θ|y,ϕ)∈P$$p(⋅|θ,ϕ)∈F$$p(θ,ϕ)=p(θ)\times p(ϕ)$$p(θ)∈P$$p(ϕ)$$P$