Jest to zwykłe twierdzenie o rodzinie wykładniczej, ale moim zdaniem większość razy jest wyrażane w sposób, który może dezorientować mniej doświadczonego czytelnika. Ponieważ, biorąc pod uwagę wartość nominalną, można to interpretować jako „jeśli nasza zmienna losowa podąża za rozkładem w rodzinie wykładniczej, to jeśli weźmiemy próbkę i wstawimy ją do wystarczającej statystyki, uzyskamy prawdziwą oczekiwaną wartość statystyki „. Gdyby tak było ... Co więcej, nie uwzględnia wielkości próbki, co może powodować dalsze zamieszanie.
Wykładnicza funkcja gęstości to
fX(x)=h(x)eη(θ)T(x)e- A ( θ )(1)
gdzie T.( x ) jest wystarczającą statystyką.
Ponieważ jest to gęstość, musi zintegrować się z jednością, więc (S.x jest wsparciem X)
∫S.xh ( x )miη( θ ) T.( x )mi- A ( θ )rex = 1(2)
Równ. ( 2 ) trzyma dla wszystkich θ abyśmy mogli rozróżnić obie strony pod tym względem:
∂∂θ∫S.xh ( x )miη( θ ) T.( x )mi- A ( θ )rex =∂( 1 )∂θ= 0(3)
Otrzymujemy zamieniając kolejność różnicowania i integracji
∫S.x∂∂θ( h ( x )miη( θ ) T.( x )mi- A ( θ )) dx = 0(4)
Przeprowadzając zróżnicowanie, które mamy
∂∂θ( h ( x )miη( θ ) T.( x )mi- A ( θ )) =faX( x ) [ T( x )η′( θ ) -ZA′( θ ) ](5)
Wstawianie ( 5 ) w ( 4 ) dostajemy
∫S.xfaX( x ) [ T( x )η′( θ ) -ZA′( θ ) ] dx = 0
⇒η′( θ ) E[ T( X) ] -ZA′( θ ) = 0 ⇒ E[ T( X) ] =ZA′( θ )η′( θ )(6)
Teraz pytamy: po lewej stronie ( 6 )jest liczbą rzeczywistą. Zatem prawa strona musi być także liczbą rzeczywistą, a nie funkcją . Dlatego należy to oceniać w konkretny sposóbθi powinna być „prawdziwa” θ, w przeciwnym razie po lewej stronie nie mielibyśmy prawdziwej oczekiwanej wartości T.( X). Aby to podkreślić, oznaczamy prawdziwą wartość przezθ0i piszemy ponownie ( 6 ) tak jak
miθ0[ T( X) ] =ZA′( θ )η′( θ )∣∣θ =θ0(6a)
Przechodzimy teraz do oszacowania maksymalnego prawdopodobieństwa . Prawdopodobieństwo dziennika dla próbki wielkościn jest
L ( θ ∣ x ) =∑i = 1nlnh (xja) + η( θ )∑i = 1nT.(xja) - n A ( θ )
Ustawienie jego pochodnej względem θ równy 0 otrzymujemy MLE
θ^( x ) :1n∑i = 1nT.(xja) =ZA′( θ )η′( θ )∣∣θ =θ^( x )(7)
Porównać ( 7 ) z ( 6 a ). Prawa strona nie jest równa, ponieważ nie możemy argumentować, że estymator MLE trafił w prawdziwą wartość. Więc nie są też lewe strony. Ale pamiętaj o tym.2)trzyma dla wszystkich θ i tak dla θ^również. Więc kroki w równaniu.3 , 4 , 5 , 6 można wziąć w odniesieniu do θ^ i żebyśmy mogli napisać eq. 6 a dla θ^:
miθ^( x )[ T( X) ] =ZA′( θ )η′( θ )∣∣θ =θ^( x )(6b)
co w połączeniu z ( 7 ), prowadzi nas do ważnej relacji
miθ^( x )[ T( X) ] =1n∑i = 1nT.(xja)
tak naprawdę mówi badane twierdzenie: oczekiwana wartość wystarczającej statystyki w MLE dla nieznanych parametrów (innymi słowy, wartość pierwszego nieprzetworzonego momentu rozkładu, który otrzymamy, jeśli użyjemyθ^( x ) zamiast θ), równa się (i nie jest to tylko przybliżone) średniej wystarczającej statystyki obliczonej na podstawie próbyx.
Co więcej, tylko jeśli wielkość próby wynosi n = 1 wtedy moglibyśmy dokładnie powiedzieć: „oczekiwana wartość wystarczającej statystyki pod MLE równa się wystarczającej statystyce”.