Rozbieżność KL między dwoma jednowymiarowymi gaussami

79

Muszę ustalić rozbieżność KL między dwoma Gaussami. Porównuję moje wyniki z tymi , ale nie mogę odtworzyć ich wyników. Mój wynik jest oczywiście błędny, ponieważ KL nie jest równe 0 dla KL (p, p).

Zastanawiam się, gdzie popełniam błąd i pytam, czy ktokolwiek może to zauważyć.

Niech p(x)=N(μ1,σ1) i q(x)=N(μ2,σ2) . Z PRML Bishopa wiem o tym

KL(p,q)=p(x)logq(x)dx+p(x)logp(x)dx

gdzie integracja odbywa się na całej linii rzeczywistej i to

p(x)logp(x)dx=12(1+log2πσ12),

więc ograniczam się do p(x)logq(x)dx , który mogę zapisać jako

p(x)log1(2πσ22)(1/2)e(xμ2)22σ22dx,

na które można podzielić

12log(2πσ22)p(x)loge(xμ2)22σ22dx.

Biorę dziennik, który dostaję

12log(2πσ22)p(x)((xμ2)22σ22)dx,

gdzie oddzielam sumy i otrzymuję σ22 z całki.

12log(2πσ22)+p(x)x2dxp(x)2xμ2dx+p(x)μ22dx2σ22

POZWALAĆ oznacza operator wartości oczekiwanej mocy p , można przepisać to jako

12log(2πσ22)+x22xμ2+μ222σ22.

Wiemy, że var(x)=x2x2 . A zatem

x2=σ12+μ12

i dlatego

12log(2πσ2)+σ12+μ122μ1μ2+μ222σ22,

co mogę umieścić jako

12log(2πσ22)+σ12+(μ1μ2)22σ22.

Łącząc wszystko, dochodzę do

KL(p,q)=p(x)logq(x)dx+p(x)logp(x)dx=12log(2πσ22)+σ12+(μ1μ2)22σ2212(1+log2πσ12)=logσ2σ1+σ12+(μ1μ2)22σ22.
Co jest złe, ponieważ wynosi1dla dwóch identycznych Gaussów.

Czy ktoś może zauważyć mój błąd?

Aktualizacja

Dzięki mpiktas za uporządkowanie sprawy. Poprawna odpowiedź to:

KL(p,q)=logσ2σ1+σ12+(μ1μ2)22σ2212

bayerj
źródło
xμ1
co ze skrzynką z wieloma wariantami?
Właśnie widziałem w pracy badawczej, że kld powinien wynosić $ KL (p, q) = ½ * ((μ₁-μ₂) ² + σ₁² + σ₂²) * ((1 / σ₁²) + (1 / σ₂²)) - 2
skyde
1
p(x)logp(x)dx=12(1+log2πσ12)
p(x)logp(x)dx=12(1+log2πσ12)
Odpowiedź znajduje się również w mojej pracy z 1996 r. Na temat strat wewnętrznych .
Xi'an

Odpowiedzi:

59

OK, mój zły. Błąd znajduje się w ostatnim równaniu:

KL(p,q)=p(x)logq(x)dx+p(x)logp(x)dx=12log(2πσ22)+σ12+(μ1μ2)22σ2212(1+log2πσ12)=logσ2σ1+σ12+(μ1μ2)22σ2212

12μ1=μ2σ1=σ2

mpiktas
źródło
@mpiktas Naprawdę miałem na myśli pytanie - bayerj Jest dobrze opublikowanym badaczem i jestem studentem. Miło widzieć, że nawet sprytni faceci czasem wracają do pytania w Internecie :)
N. McA.
3
μ1σ1μ2σ2
N(u1,σ1)
31

pμ1σ12qμ2σ22qp

[log(p(x))log(q(x))]p(x)dx

=[12log(2π)log(σ1)12(xμ1σ1)2+12log(2π)+log(σ2)+12(xμ2σ2)2] ×12πσ1exp[12(xμ1σ1)2]dx

={log(σ2σ1)+12[(xμ2σ2)2(xμ1σ1)2]} ×12πσ1exp[12(xμ1σ1)2]dx

=E1{log(σ2σ1)+12[(xμ2σ2)2(xμ1σ1)2]}

=log(σ2σ1)+12σ22E1{(Xμ2)2}12σ12E1{(Xμ1)2}

=log(σ2σ1)+12σ22E1{(Xμ2)2}12

(Xμ2)2=(Xμ1+μ1μ2)2=(Xμ1)2+2(Xμ1)(μ1μ2)+(μ1μ2)2

=log(σ2σ1)+12σ22[E1{(Xμ1)2}+2(μ1μ2)E1{Xμ1}+(μ1μ2)2]12

=log(σ2σ1)+σ12+(μ1μ2)22σ2212

ocram
źródło