Modelowanie bayesowskie przy użyciu wielowymiarowej normalnej z kowariantem

11

Załóżmy, że masz zmienną objaśniającą gdzie oznacza daną współrzędną. Masz również zmienną odpowiedzi . Teraz możemy połączyć obie zmienne jako:X=(X(s1),,X(sn))sY=(Y(s1),,Y(sn))

W(s)=(X(s)Y(s))N(μ(s),T)

W takim przypadku wybieramy po prostu μ(s)=(μ1μ2)T a T to macierz kowariancji opisująca zależność między X i Y . To opisuje tylko wartość X i Y w s . Ponieważ mamy więcej punktów z innych lokalizacji dla X i Y , możemy opisać więcej wartości W(s) w następujący sposób:

(XY)=N((μ11μ21),TH(ϕ))

Zauważysz, że przegrupowaliśmy komponenty X i Y aby uzyskać wszystkie X(si) w kolumnie, a następnie połączyć wszystkie Y(si) razem. Każdy składnik H(ϕ)ij jest funkcją korelacji ρ(si,sj) a T jest jak wyżej. Powodem, dla którego mają kowariancji TH(ϕ) , ponieważ zakładamy, że możliwe jest oddzielenie macierz kowariancji jako C(s,s)=ρ(s,s)T .

Pytanie 1: Kiedy obliczam warunek YX , tak naprawdę to generuję zestaw wartości Y na podstawie X prawda? Mam już Y więc bardziej chciałbym przewidzieć nowy punkt y(s0) . W takim przypadku powinienem mieć macierz H(ϕ) zdefiniowaną jako

H(ϕ)=(H(ϕ)hhρ(0,ϕ))

w którym h(ϕ) jest wektorem ρ(s0sj;ϕ) . Dlatego możemy zbudować wektor (bez zmiany układu):

W=(W(s1),,W(sn),W(s0))TN(1n+1(μ1μ2),H(ϕ)T)

A teraz zmieniam kolejność, aby uzyskać wspólną dystrybucję i uzyskaj warunek .(Xx(s0)Yy(s0))p(y(s0)x0,X,Y)

Czy to jest poprawne?

Pytanie 2: , że muszę użyć tego rozkładu warunkowego i uzyskać a posterior rozkład , ale nie jestem pewien, jak uzyskać rozkład tylny dla parametrów. Może mógłbym użyć dystrybucji , że myślę jest dokładnie taki sam jak a następnie po prostu użyj twierdzenia Bayesa, aby uzyskaćp(y(s0)x0,X,Y)p(μ,T,ϕx(s0),Y,X)(Xx(s0)Y)p(X,x(s0),Yμ,T,ϕ)p(μ,T,ϕX,x(s0),Y)p(X,x(s0),Yμ,T,ϕ)p(μ,T,ϕ)

Pytanie 3: Na końcu podrozdziału autor mówi:

Do przewidywania nie mamy . Nie stwarza to żadnych nowych problemów, ponieważ można je traktować jako zmienną ukrytą i włączać do To tylko powoduje dodatkowe losowanie w każdej iteracji Gibbs i jest trywialnym dodatkiem do zadania obliczeniowego.X(s0)x

Co oznacza ten akapit?

Nawiasem mówiąc, tę procedurę można znaleźć w tym artykule (strona 8), ale jak widać, potrzebuję trochę więcej szczegółów.

Dzięki!

Robert Smith
źródło
Głosowano na migrację na żądanie OP .
Powiedziałbym poprawne zarówno do odpowiedzi na pytania 1 i 2. Pytanie 3 środki, które niepostrzeżenie jest traktowana jako dodatkowy parametr, na górze , wykorzystując pełną warunkową jak wcześniej w . X(s0)μ,T,ϕ
p(x(s0)X,,Y,μ,T,ϕ)
X(s0)
Xi'an

Odpowiedzi:

2

Pytanie 1: Biorąc pod uwagę twój wspólny model prawdopodobieństwa rozkład uzależnione od dany jest również normalny, ze średnią i macierz wariancji-kowariancji

(XY)N((μ11μ21),[Σ11Σ12Σ21Σ22])=N((μ11μ21),TH(ϕ))
YX
μ2+Σ21Σ111(Xμ1)
Σ22Σ21Σ111Σ21.
(Te formuły są kopiowane dosłownie ze strony Wikipedii na normalne wielowymiarowe .) To samo dotyczy od to kolejny wektor normalny.p(y(s0)x(s0),X,Y)(y(s0),x(s0),X,Y)

Pytanie 2: W metodzie jest zdefiniowana jako tzn. przez zintegrowanie parametrów za pomocą rozkładu tylnego tych tylnych, biorąc pod uwagę bieżące dane . Pełna odpowiedź brzmi więc nieco więcej. Oczywiście, jeśli potrzebujesz tylko przeprowadzić symulację z metody predykcyjnej, twoje pojęcie symulacji łącznie z a następnie z jest poprawne.p(y(s0)x(s0),X,Y)

p(y(s0)|x(s0),X,Y)=p(y(s0)|x(s0),X,Y,μ,T,ϕ)p(μ,T,ϕ|x(s0),X,Y)dμdTdϕ,
(X,Y,x(s0))p(μ,T,ϕX,x(s0),Y)p(y(s0)x(s0),X,Y,μ,T,ϕ)

Pytanie 3: W przypadku, gdy nie jest przestrzegane, para może być przewidywana na podstawie innej predykcyjnej x(s0)(x(s0),y(s0))

p(x(s0),y(s0)X,Y)=p(x(s0),y(s0)X,Y,μ,T,ϕ)p(μ,T,ϕX,Y)dμdTdϕ.

Podczas symulacji z tego predykcyjnego, ponieważ nie jest on dostępny w formie możliwej do zarządzania, można uruchomić próbnik Gibbs, który iteracyjnie symuluje

  1. μX,Y,x(s0),y(s0),T,ϕ
  2. TX,Y,x(s0),y(s0),μ,ϕ
  3. ϕX,Y,x(s0),y(s0),T,μ
  4. x(s0)X,Y,y(s0),ϕ,T,μ
  5. y(s0)X,Y,x(s0),ϕ,T,μ

lub połącz kroki 4 i 5 w jeden krok

  • x(s0),y(s0)X,Y,ϕ,T,μ
Xi'an
źródło