Najpierw zapoznaj się z tym podstawowym pytaniem na temat matrycy informacji Fishera i związkiem z Hesją i standardowymi błędami
Załóżmy, że mamy model statystyczny (rodzina rozkładów) . W najbardziej ogólnym przypadku mamy , więc rodzina parametryzowane . W pewnych warunkach prawidłowości mamy{fθ:θ∈Θ}dim(Θ)=dθ=(θ1,…,θd)T
Ii,j(θ)=−Eθ[∂2l(X;θ)∂θi∂θj]=−Eθ[Hi,j(l(X;θ))]
gdzie jest macierzą informacji Fishera (jako funkcja ), a jest wartością obserwowaną (próbka)Ii,jθX
l(X;θ)=ln(fθ(X)), for some θ∈Θ
Tak więc macierz informacji Fishera jest zanegowaną oczekiwaną wartością Hesian prawdopodobieństwa logarytmu poniżej pewnegoθ
Powiedzmy, że chcemy oszacować jakąś funkcję wektorową nieznanego parametru . Zwykle pożądane jest, aby estymator był bezstronny, tj.ψ(θ)T(X)=(T1(X),…,Td(X))
∀θ∈Θ Eθ[T(X)]=ψ(θ)
Cramer Rao dolnej granicy stanów, że dla każdego nieobciążonego w spełniaT(X)covθ(T(X))
covθ(T(X))≥∂ψ(θ)∂θI−1(θ)(∂ψ(θ)∂θ)T=B(θ)
gdzie dla macierzy oznacza, że jest dodatnim półokreślonym , to po prostu jakobski . Zauważ, że jeśli oszacujemy , czyli , powyżej uprości toA≥BA−B∂ψ(θ)∂θJi,j(ψ)θψ(θ)=θ
covθ(T(X))≥I−1(θ)
Ale co nam to naprawdę mówi? Przypomnij sobie na przykład
varθ(Ti(X))=[covθ(T(X))]i,i
i dla każdego dodatniego pół-określonej macierzy elementy przekątnej są nieujemneA
∀i Ai,i≥0
Z powyższego możemy wywnioskować, że wariancja każdego oszacowanego elementu jest ograniczona diagonalnymi elementami macierzyB(θ)
∀i varθ(Ti(X))≥[B(θ)]i,i
Więc CRLB nie mówi nam wariancji naszego estymatora, ale czy nasz estymator jest optymalny , tj. Czy ma najniższą kowariancję wśród wszystkich obiektywnych estymatorów.