Dlaczego matryca Fisher Information jest pozytywnie półfinałowa?

18

Niech . Matrycę informacji Fisher definiuje się jako:θRn

I(θ)i,j=E[2log(f(X|θ))θiθj|θ]

Jak mogę udowodnić, że Matryca Informacyjna Fishera jest dodatnia półfinałowa?

madprob
źródło
7
Czy nie jest to oczekiwana wartość zewnętrznego wyniku wyniku?
Neil G

Odpowiedzi:

19

Sprawdź to: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Z definicji mamy

Iij=Eθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))],
dla i,j=1,,k , w których i=/θi . Twoje wyrażenie dla Iij wynika z tego wyrażenia w warunkach prawidłowości.

Dla wektora niepustego wynika z liniowości oczekiwań, że u=(u1,,uk)Rn

i,j=1kuiIijuj=i,j=1k(uiEθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))]uj)=Eθ[(i=1kuiilogfXΘ(Xθ))(j=1kujjlogfXΘ(Xθ))]=Eθ[(i=1kuiilogfXΘ(Xθ))2]0.

Jeśli mądra notacja tego komponentu jest zbyt brzydka, zauważ, że macierz informacji Fishera można zapisać jako , w którym wektor wyników jest zdefiniowany jako H=(Iij)H=Eθ[SS]S

S=(1logfXΘ(Xθ),,klogfXΘ(Xθ)).

Dlatego mamy jednowierszowy

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.

Zen
źródło
3
(+1) Dobra odpowiedź i witaj z powrotem, Zen. Obawiałem się, że mogliśmy stracić cię na stałe, biorąc pod uwagę długość przerwy. To byłby prawdziwy wstyd!
kardynał
5

UWAGA: nie ogólna odpowiedź!

Jeśli odpowiada rodzinie wykładniczej pełnej rangi, to ujemny Hesjan logarytmu prawdopodobieństwa jest macierzą kowariancji wystarczającej statystyki. Macierze kowariancji są zawsze dodatnie półokreślone. Ponieważ informacja Fishera jest wypukłą kombinacją dodatnich półokreślonych macierzy, więc musi być również dodatnia półokreślona.f(X|θ)

gusl
źródło