Niech . Matrycę informacji Fisher definiuje się jako:
Jak mogę udowodnić, że Matryca Informacyjna Fishera jest dodatnia półfinałowa?
Niech . Matrycę informacji Fisher definiuje się jako:
Jak mogę udowodnić, że Matryca Informacyjna Fishera jest dodatnia półfinałowa?
Odpowiedzi:
Sprawdź to: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form
Z definicji mamy
Dla wektora niepustego wynika z liniowości oczekiwań, żeu=(u1,…,uk)⊤∈Rn ∑i,j=1kuiIijuj=∑i,j=1k(uiEθ[(∂ilogfX∣Θ(X∣θ))(∂jlogfX∣Θ(X∣θ))]uj)=Eθ[(∑i=1kui∂ilogfX∣Θ(X∣θ))(∑j=1kuj∂jlogfX∣Θ(X∣θ))]=Eθ⎡⎣(∑i=1kui∂ilogfX∣Θ(X∣θ))2⎤⎦≥0.
Jeśli mądra notacja tego komponentu jest zbyt brzydka, zauważ, że macierz informacji Fishera można zapisać jako , w którym wektor wyników jest zdefiniowany jakoH=(Iij) H=Eθ[SS⊤] S S=(∂1logfX∣Θ(X∣θ),…,∂klogfX∣Θ(X∣θ))⊤.
Dlatego mamy jednowierszowyu⊤Hu=u⊤Eθ[SS⊤]u=Eθ[u⊤SS⊤u]=Eθ[||S⊤u||2]≥0.
źródło
UWAGA: nie ogólna odpowiedź!
Jeśli odpowiada rodzinie wykładniczej pełnej rangi, to ujemny Hesjan logarytmu prawdopodobieństwa jest macierzą kowariancji wystarczającej statystyki. Macierze kowariancji są zawsze dodatnie półokreślone. Ponieważ informacja Fishera jest wypukłą kombinacją dodatnich półokreślonych macierzy, więc musi być również dodatnia półokreślona.f(X|θ)
źródło