Jak zrozumieć, że MLE wariancji jest tendencyjne w rozkładzie Gaussa?

12

Ilustracja PRML pokazująca, jak powstaje błąd w wykorzystaniu maksymalnego prawdopodobieństwa do określenia wariancji Gaussa

Czytam PRML i nie rozumiem tego obrazu. Czy mógłbyś podać kilka wskazówek, aby zrozumieć obraz i dlaczego MLE wariancji w rozkładzie Gaussa jest stronniczy?

wzór 1.55: wzór 1.56 σ 2 M L E =1

μMLE=1Nn=1Nxn
σMLE2=1Nn=1N(xnμMLE)2
ningyuwhut
źródło
Dodaj tag do samodzielnej nauki.
StatsStudent,
2
dlaczego dla każdego wykresu widoczny jest tylko jeden niebieski punkt danych? btw, podczas gdy próbowałem edytować przepełnienie dwóch indeksów dolnych w tym poście, system wymaga „co najmniej 6 znaków” ... krępujących.
Zhanxiong,
Co naprawdę chcesz zrozumieć, obraz lub dlaczego oszacowanie wariancji MLE jest stronnicze? To pierwsze jest bardzo mylące, ale mogę wyjaśnić drugie.
TrynnaDoStat
tak, znalazłem w nowej wersji każdy wykres ma dwa niebieskie dane, mój pdf jest stary
ningyuwhut
@TrynnaDoStat przepraszam za moje pytanie nie jest jasne. Chcę wiedzieć, dlaczego oszacowanie wariancji MLE jest stronnicze. i jak to jest wyrażone na tym wykresie
ningyuwhut

Odpowiedzi:

25

Intuicja

E[x¯2]μ2E[x¯2]μ2μx¯μprzez liczbę ujemną) również zostaje podniesiony do kwadratu i tym samym staje się dodatni. W ten sposób nie anuluje się i istnieje niewielka tendencja do przeszacowywania.

x2μ2E[x2]

Udowodnijmy, że MLE wariancji dla próbki iid jest tendencyjny. Następnie analitycznie zweryfikujemy naszą intuicję.

Dowód

σ^2=1Nn=1N(xnx¯)2

E[σ^2]σ2

E[σ^2]=E[1Nn=1N(xnx¯)2]=1NE[n=1N(xn22xnx¯+x¯2)]=1NE[n=1Nxn2n=1N2xnx¯+n=1Nx¯2]

n=1Nxn=Nx¯n=1Nx¯2=Nx¯2

1NE[n=1Nxn2n=1N2xnx¯+n=1Nx¯2]=1NE[n=1Nxn22Nx¯2+Nx¯2]=1NE[n=1Nxn2Nx¯2]=1NE[n=1Nxn2]E[x¯2]=1Nn=1NE[xn2]E[x¯2]=E[xn2]E[x¯2]

E[xn2]n

σx2=E[x2]E[x]2

E[xn2]E[x¯2]=σx2+E[xn]2σx¯2E[xn]2=σx2σx¯2=σx2Var(x¯)=σx2Var(1Nn=1Nxn)=σx2(1N)2Var(n=1Nxn)

1NVar()

σx2(1N)2Var(n=1Nxn)=σx2(1N)2Nσx2=σx21Nσx2=N1Nσx2

σx2

Analitycznie zweryfikuj naszą intuicję

μμμ2E[x¯2]σ^2

σ^μ2=1Nn=1N(xnμ)2

E[xn2]E[x¯2]x¯μ

E[xn2]E[μ2]=E[xn2]μ2=σx2+E[xn]2μ2=σx2

co jest bezstronne!

TrynnaDoStat
źródło
3
X
1
Dziękuję za wyjaśnienie. Potrzebuję trochę czasu, aby to zrozumieć. Poza tym znalazłem błąd w równaniach. Czy możesz to zweryfikować? Dzięki!
ningyuwhut
X