Wieloczynnikowy normalny tylny

18

To bardzo proste pytanie, ale nie mogę znaleźć pochodnej nigdzie w Internecie ani w książce. Chciałbym zobaczyć pochodną tego, jak jeden Bayesian aktualizuje wielowymiarowy rozkład normalny. Na przykład: wyobraź sobie to

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Po zaobserwowaniu zestawu , chciałbym obliczyć . Wiem, że odpowiedź brzmi gdzie P ( μ | x 1 . . . x n ) P ( μ | x 1 . . . x n )=N( μ n , Σ n )x1...xnP(μ|x1...xn)P(μ|x1...xn)=N(μn,Σn)

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Szukam wyprowadzenia tego wyniku z całą algebrą macierzy pośredniej.

Każda pomoc jest mile widziana.

Alex
źródło
2
Zostało to również rozwiązane w naszej książce Bayesian Core , rozdz. 3, sekcja 3.2, strony 54-57 z naszym zdaniem szczegółową algebrą macierzy!
Xi'an
1
OP stwierdził, że nie jest to zadanie domowe, a nawet wyjaśnił, dlaczego o to poprosił i jak chce skorzystać z odpowiedzi. Dlaczego nie opublikować go innym? Rozumiem, dlaczego nie chcemy oferować usługi rozwiązywania problemów domowych, ale to trochę za daleko.
Michael R. Chernick
3
@Alex: Przepraszam, zły link, miałem na myśli Bayesian Core . Pamiętaj, że opublikowaliśmy również rozwiązania wszystkich problemów w arXiv . Więc opublikowanie kompletnego rozwiązania tutaj nie zaszkodzi!
Xi'an
1
Usunąłem część komentarzy, które są równoznaczne z prywatną wymianą między osobami z ustaleniem, że podzielę się prywatną odpowiedzią na pytanie. Tego rodzaju nadużywanie tej witryny dotyczy publicznych pytań i odpowiedzi publicznych .
whuber
1
Podobnie jak FYI, derywacja znajduje się w Klasyfikacji Wzorów autorstwa Dudy, Harta i Bociana. Miałem jednak trudności z wykonaniem niektórych ich kroków, co ma dla mnie znaczenie. Gdyby to była po prostu praca domowa, można po prostu zapisać dokładnie to, co mają.
Alex

Odpowiedzi:

6

Z rozkładami na naszych losowych wektorach:

xi|μN(μ,Σ)

μN(μ0,Σ0)

Zgodnie z regułą Bayesa rozkład tylny wygląda następująco:

p(μ|{xi})p(μ)i=1Np(xi|μ)

Więc:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=12(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))(NΣ1+Σ01)(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))+const

Jaka jest gęstość logarytmiczna Gaussa:

μ|{xi}N((NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi),(NΣ1+Σ01)1)

Używając tożsamości Woodbury'ego w naszym wyrażeniu dla macierzy kowariancji:

(NΣ1+Σ01)1=Σ(1NΣ+Σ0)11NΣ0

Który zapewnia macierz kowariancji w formie, jakiej chciał PO. Używając tego wyrażenia (i jego symetrii) dalej w wyrażeniu dla średniej mamy:

Σ(1NΣ+Σ0)11NΣ0Σ01μ0+1NΣ0(1NΣ+Σ0)1ΣΣ1i=1Nxi

=Σ(1NΣ+Σ0)11Nμ0+Σ0(1NΣ+Σ0)1i=1N(1Nxi)

Która forma jest wymagana przez PO dla średniej.

przypuszczenia
źródło