Związek między macierzą Hesji a macierzą kowariancji

12

Podczas gdy ja studiuję oszacowanie maksymalnego prawdopodobieństwa, aby wnioskować w oszacowaniu maksymalnego prawdopodobieństwa, musimy znać wariancję. Aby dowiedzieć się o wariancji, muszę poznać Dolną Granicę Kramera, która wygląda jak matryca Hesji z Drugim Pochyleniem krzywizny. Jestem trochę pomieszany, aby zdefiniować związek między macierzą kowariancji a macierzą hessian. Mam nadzieję usłyszeć wyjaśnienia dotyczące pytania. Doceniony zostanie prosty przykład.

użytkownik122358
źródło

Odpowiedzi:

13

Najpierw zapoznaj się z tym podstawowym pytaniem na temat matrycy informacji Fishera i związkiem z Hesją i standardowymi błędami

Załóżmy, że mamy model statystyczny (rodzina rozkładów) . W najbardziej ogólnym przypadku mamy , więc rodzina parametryzowane . W pewnych warunkach prawidłowości mamy{fθ:θΘ}dim(Θ)=dθ=(θ1,,θd)T

Ii,j(θ)=Eθ[2l(X;θ)θiθj]=Eθ[Hi,j(l(X;θ))]

gdzie jest macierzą informacji Fishera (jako funkcja ), a jest wartością obserwowaną (próbka)Ii,jθX

l(X;θ)=ln(fθ(X)), for some θΘ

Tak więc macierz informacji Fishera jest zanegowaną oczekiwaną wartością Hesian prawdopodobieństwa logarytmu poniżej pewnegoθ

Powiedzmy, że chcemy oszacować jakąś funkcję wektorową nieznanego parametru . Zwykle pożądane jest, aby estymator był bezstronny, tj.ψ(θ)T(X)=(T1(X),,Td(X))

θΘ Eθ[T(X)]=ψ(θ)

Cramer Rao dolnej granicy stanów, że dla każdego nieobciążonego w spełniaT(X)covθ(T(X))

covθ(T(X))ψ(θ)θI1(θ)(ψ(θ)θ)T=B(θ)

gdzie dla macierzy oznacza, że jest dodatnim półokreślonym , to po prostu jakobski . Zauważ, że jeśli oszacujemy , czyli , powyżej uprości toABABψ(θ)θJi,j(ψ)θψ(θ)=θ

covθ(T(X))I1(θ)

Ale co nam to naprawdę mówi? Przypomnij sobie na przykład

varθ(Ti(X))=[covθ(T(X))]i,i

i dla każdego dodatniego pół-określonej macierzy elementy przekątnej są nieujemneA

i Ai,i0

Z powyższego możemy wywnioskować, że wariancja każdego oszacowanego elementu jest ograniczona diagonalnymi elementami macierzyB(θ)

i varθ(Ti(X))[B(θ)]i,i

Więc CRLB nie mówi nam wariancji naszego estymatora, ale czy nasz estymator jest optymalny , tj. Czy ma najniższą kowariancję wśród wszystkich obiektywnych estymatorów.

Łukasz Grad
źródło
2
Doceniam twoje wyjaśnienie tutaj. Tak naprawdę nie jestem matematyką, ale przeszkadzam w nauce matematyki. Jednak nadal wydaje mi się to zbyt abstrakcyjne. Mam nadzieję, że istnieje jakiś delikatny przykład z prostymi liczbami, który na pewno to zrozumie.
user122358