Rozbieżność Kullbacka-Leiblera to metryka służąca do porównania dwóch funkcji gęstości prawdopodobieństwa, ale jaką metrykę stosuje się do porównania X
gaussian-process
metric
pushkar
źródło
źródło
Odpowiedzi:
Uwaga, że rozkład procesów Gaussa X → RX→R jest rozszerzenie wieloczynnikowej Gaussa dla możliwie nieskończonego XX . W ten sposób można użyć rozbieżności KL między rozkładami prawdopodobieństwa GP, całkując przez R XRX :
D K L ( P | Q ) = ∫ R X log d Pd Q dP.
Możesz użyć metod MC do przybliżenia liczbowego tej ilości w dyskretyzowanym XX poprzez wielokrotne próbkowanie procesów zgodnie z ich rozkładem GP. Nie wiem, czy szybkość konwergencji jest wystarczająco dobra ...
Zauważ, że jeśli XX jest skończony z | X | = n|X|=n , następnie wracasz do zwykłej dywergencji KL dla wielu zmiennych Rozkłady normalne:
D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = 12 (tr(K - 1 2 K1)+(μ2-μ 1 ) ⊤ K - 1 2 ( μ 2-μ 1 ) - n + log | K 2 || K 1 | )
źródło
Pamiętaj, że jeśli X : T × Ω → R jest procesem Gaussa ze średnią funkcją m i funkcją kowariancji K , to dla każdego t 1 , … , t k ∈ T wektor losowy ( X ( t 1 ) , … , X ( t k ) ) ma wielowymiarowy rozkład normalny ze średnim wektorem ( m ( t 1 ) , … , mX:T×Ω→R m K t1,…,tk∈T (X(t1),…,X(tk)) ( t k ) ) i macierz kowariancji Σ = ( σ i j ) = ( K ( t i , t j ) ) , gdzie użyliśmy wspólnego skrótu X ( t ) = X ( t ,(m(t1),…,m(tk)) Σ=(σij)=(K(ti,tj)) ⋅) .X(t)=X(t,⋅)
Każda realizacja X (⋅, Ω ) jest prawdziwą funkcją, której domeną jest zbiorem wskaźnik T . Załóżmy, że T = [ 0 , 1 ] . Biorąc pod uwagę dwa procesy Gaussa X i Y , jedna wspólna odległość między dwiema realizacjami X (X(⋅,ω) T T=[0,1] X Y ⋅, ω ) i Y (X(⋅,ω) ⋅, ω ) jest sup t ∈ [ 0 , 1 ] | X ( t , ω ) - Y ( t , ω ) | . Dlatego wydaje się naturalne zdefiniowanie odległości między dwoma procesami X i Y jako
d ( X , Y ) = EY(⋅,ω) supt∈[0,1]|X(t,ω)−Y(t,ω)| X Y [ sup t ∈ [ 0 , 1 ] | X ( t ) - Y ( t ) | ].( ∗ )
Nie wiem, czy istnieje wyrażenie analityczne dla tej odległości, ale wierzę, że można obliczyć przybliżenie Monte Carlo w następujący sposób. Napraw pewną drobną siatkę 0 ≤ t 1 < ⋯ < t k ≤ 1 i narysuj próbki ( x i 1 , … , x i k ) i ( y i 1 , … , y i k ) z normalnych losowych wektorów ( X ( t 1 )
źródło