Co dzieje się ze współczynnikiem prawdopodobieństwa, gdy gromadzonych jest coraz więcej danych?

11

Niech fa , sol i h są gęstości i załóżmy, że masz xjah , jaN. . Co dzieje się ze współczynnikiem prawdopodobieństwa

ja=1nfa(xja)sol(xja)
jakn? (Czy to się zbiega? Do czego?)

Na przykład możemy założyć h=sol . Interesujący jest również ogólny przypadek.

Olivier
źródło
4
@ Xi'an. Myślę, że dodanie tego pytania do SE pozwala na powiązanie między pytaniami w odpowiedzi. Chociaż mogą występować podobieństwa odpowiedzi, pytania nie są takie same.
John
1
Dzięki za link. Pytanie to nie jest duplikatem, chociaż odpowiedzi na moje pytanie mogą dotyczyć rozbieżności Kullbacka-Leiblera.
Olivier

Odpowiedzi:

15

Jeśli weźmie się logarytm tego produktu, i zamienia go w średnią ˉ r n=1

r=logja=1nfa(xja)sol(xja)=ja=1nlogfa(xja)sol(xja)
stosuje się prawo wielkich liczb, stąd uzyskuje się prawie pewną zbieżność ˉ r n a.s. Eh[logf(X)
r¯n=1nja=1nlogfa(xja)sol(xja)
zakładając, że ta całka jest dobrze zdefiniowana [kontrprzykłady są łatwe do zdobycia].
r¯ntak jakmih[logfa(X)sol(X)]=Xlogfa(x)sol(x)h(x)rex

Na przykład, jeśli , g i h są gęstościami dla rozkładów normalnych ze średnimi , odpowiednio, μ 1 , μ 2 i zero, wszystkie z wariancją 1, wartość X log f ( x )fasolhμ1μ2) to X { ( x - μ 1 ) 2 - ( x - μ 2 2 ) }

Xlogfa(x)sol(x)h(x)rex
X{(x-μ1)2)-(x-μ2)2))}φ(x)rex=μ12)-μ2)2).

Należy również zauważyć, że bez uśrednienia, iloczyn prawie na pewno zbiega się do zera (gdyxih(x)

ja=1nfa(xja)h(xja)
xjah(x)). Podczas gdy iloczyn prawie na pewno zbiega się do zera lub nieskończoności w zależności od tego, czyglubfjest bliżejhw sensie dywergencji Kullbacka-Leiblera (gdyxih(x)
ja=1nfa(xja)sol(xja)
solfahxjah(x)).
Xi'an
źródło
sol=h
1
fa=solfa=hsolhsol=hfahfahfasolsolhfasolh
h
1
r=nrn
0

Zn=janp(x)q(x)

W.n=1nlosol(Zn)=1njanlosol(p(x)q(x))
limnW.n=miq(x)[losol(p(x)q(x))]=Xlosol(p(x)q(x))q(x)rex

losol(za)<za-1 za>0 za1p(x)q(x)>0p(x)q(x)

W.nXlosol(p(x)q(x))q(x)rex<X(p(x)q(x)-1)q(x)rex=Xp(x)rex-Xq(x)rex=1-1=0
limnW.n<0limn1nlosol(Zn)<0limnn1nlosol(Zn)=-limnlosol(Zn)=-limnZn=0 

bgao
źródło