Wątpliwości dotyczące wyprowadzenia równań regresji procesu Gaussa w pracy

9

Czytam ten przedruk i mam trudności z wyprowadzeniem równań dla regresji procesu Gaussa. Używają ustawień i notacji Rasmussen i Williams . Tak więc hałas addytywny, zerowy, stacjonarny i normalnie rozłożony z wariancjąσnoise2 zakłada się:

y=f(x)+ϵ,ϵN(0,σnoise2)

Zakłada się, że GP poprzedził średnią zero f(x), co oznacza że  dN, f={f(x1),,f(xd)} jest wektorem Gaussa ze średnią 0 i macierzą kowariancji

Σd=(k(x1,x1)k(x1,xd)k(xd,x1)k(xd,xd))

Odtąd zakładamy, że hiperparametry są znane. Zatem równanie (4) artykułu jest oczywiste:

p(f,f)=N(0,(Kf,fKf,fKf,fKf,f))

Tu pojawiają się wątpliwości:

  1. Równanie (5):

    p(y|f)=N(f,σnoise2I)

    E[f]=0, ale przypuszczam E[y|f]=f0 ponieważ kiedy warunkuję f, a następnie gdzie jest wektorem stałym i tylko jest losowy. Poprawny?y=c+ϵcϵ

  2. W każdym razie jest to równanie (6), które jest dla mnie bardziej niejasne:

    p(f,f|y)=p(f,f)p(y|f)p(y)

    To nie jest zwykła forma twierdzenia Bayesa. Twierdzenie Bayesa byłoby

    p(f,f|y)=p(f,f)p(y|f,f)p(y)

    Rozumiem, dlaczego te dwa równania są takie same: intuicyjnie wektor odpowiedzi zależy tylko od odpowiedniego ukrytego wektora , a zatem uwarunkowany na lub on powinien prowadzić do tej samej dystrybucji. Jest to jednak intuicja, a nie dowód! Czy możesz mi pomóc pokazać, dlaczegoyff(f,f)

    p(y|f,f)=p(y|f)
DeltaIV
źródło

Odpowiedzi:

1
  1. Jeśli naprawimy , wówczas wszelka niepewność w wynika z hałasu. Tak więc dla równania (5) w tym artykule podano, że mamy w każdym punkcie niezależny szum z wariancją i średnią zero . Dodajemy początkową średnią i otrzymujemy odpowiedź.fyfσnoise20
  2. Jednym ze sposobów udowodnienia sugerowanej równości jest znalezienie rozkładu na po lewej stronie i po prawej stronie jakości. Oba są gaussowskie, dla lewej strony już znamy odpowiedź. Po prawej stronie postępujemy w podobny sposób. Znajdźmy rozkład warunkowy dla . Z wyniku pierwszej części wiemy: Za pomocą reguł prawdopodobieństwa łatwo jest zintegrować z
    p(y|f,f)=p(y|f)
    (y,y)
    p(y,y|f,f)=N((f,f),σnoise2I).
    y(y,y), ponieważ macierz kowariancji jest ukośna, a wektory i są niezależne. W ten sposób otrzymujemy: yy
    p(y|f,f)=N(f,σnoise2I)=p(y|f).
Aleksiej Zajcew
źródło