Dlaczego odchylenie standardowe próbki jest stronniczym estymatorem

57

Zgodnie z artykułem Wikipedii na temat obiektywnej oceny odchylenia standardowego próbka SD

s=1n1i=1n(xix¯)2

jest tendencyjnym estymatorem SD populacji. Stwierdza, że .E(s2)E(s2)

NB Zmienne losowe są niezależne i każdaxiN(μ,σ2)

Moje pytanie jest dwojakie:

  • Jaki jest dowód stronniczości?
  • Jak obliczyć oczekiwane odchylenie standardowe próbki

Moja wiedza na temat matematyki / statystyk jest tylko pośrednia.

Dav Weps
źródło
4
Odpowiedź na oba pytania znajdziesz w artykule w Wikipedii na temat dystrybucji Chi .
whuber

Odpowiedzi:

57

Odpowiedź NRH na to pytanie daje ładny, prosty dowód na stronniczość odchylenia standardowego próbki. Tutaj wyraźnie obliczyć oczekiwane odchylenie standardowe próbki (drugie pytanie oryginalnego plakatu) od normalnie rozłożonej próbki, w którym to momencie odchylenie jest jasne.

Bezstronna próbna wariancja zbioru punktów wynosix1,...,xn

s2=1n1i=1n(xix¯)2

Jeśli są normalnie dystrybuowane, jest to faktemxi

(n1)s2σ2χn12

gdzie jest prawdziwą wariancją. Rozkład ma gęstość prawdopodobieństwaσ2χk2

p(x)=(1/2)k/2Γ(k/2)xk/21ex/2

używając tego możemy uzyskać oczekiwaną wartość ;s

E(s)=σ2n1E(s2(n1)σ2)=σ2n10x(1/2)(n1)/2Γ((n1)/2)x((n1)/2)1ex/2 dx

co wynika z definicji wartości oczekiwanej i faktu, że jest pierwiastkiem kwadratowym zmiennej rozproszonej . Sztuką jest teraz zmiana kolejności terminów, tak aby integrand stał się inną gęstością :s2(n1)σ2χ2χ2

E(s)=σ2n10(1/2)(n1)/2Γ(n12)x(n/2)1ex/2 dx=σ2n1Γ(n/2)Γ(n12)0(1/2)(n1)/2Γ(n/2)x(n/2)1ex/2 dx=σ2n1Γ(n/2)Γ(n12)(1/2)(n1)/2(1/2)n/20(1/2)n/2Γ(n/2)x(n/2)1ex/2 dxχn2 density

teraz wiemy, że całka i ostatnia linia jest równa 1, ponieważ jest to gęstość . Uproszczenie stałych daje trochę χn2

E(s)=σ2n1Γ(n/2)Γ(n12)

Dlatego błąd jests

σE(s)=σ(12n1Γ(n/2)Γ(n12))σ4n
as .n

Nietrudno zauważyć, że to odchylenie nie jest równe 0 dla żadnego skończonego , co dowodzi odchylenia standardowego próbki. Poniżej odchylenia jest wykres w funkcji dla na czerwono wraz z na niebiesko:nnσ=11/4n

wprowadź opis zdjęcia tutaj

Makro
źródło
(+1) Dobra odpowiedź. Mam nadzieję, że nie masz nic przeciwko, poprawiłem kilka bardzo drobnych rzeczy i dodałem asymptotyczny wynik w odniesieniu do stronniczości. Przypuszczam, że można nałożyć krzywą na wykres, ale prawdopodobnie nie jest to konieczne. Twoje zdrowie. :)(4n)1
kardynał
Naprawdę bardzo się starałeś, aby zrobić to makro. Kiedy po raz pierwszy zobaczyłem post około minutę temu, myślałem o wykazaniu stronniczości przy użyciu reguły Jensena, ale ktoś już to zrobił.
Michael Chernick,
2
oczywiście jest to okrągły sposób pokazania, że ​​odchylenie standardowe jest tendencyjne - odpowiadałem głównie na drugie pytanie pierwotnego autora: „Jak obliczyć oczekiwane odchylenie standardowe?”.
Makro
2
Inną kwestią, o której warto wspomnieć, jest to, że obliczenia te pozwalają natychmiast odczytać, czym jest estymator UMVU odchylenia standardowego w przypadku Gaussa: wystarczy pomnożyć przez odwrotność współczynnika skali, który pojawia się w dowodzie. Uogólnia to estymatory UMVU dość łatwo. sσk
kardynał
2
Przepraszam, Makro. To samo podstawowe podejście, które zastosowałeś, zadziała, po prostu skończysz na innym współczynniku skalowania , z argumentami gamma, które otrzymujesz jako funkcjami . To miałem na myśli, ale wyszło to nieco zbyt zwięźle. :)skk
kardynał
43

Nie potrzebujesz normalności. Wszystko czego potrzebujesz to to, że jest obiektywnym estymatorem wariancji . Następnie użyj tego, że funkcja pierwiastka kwadratowego jest ściśle wklęsła, tak że (przez silną formę nierówności Jensena ) chyba że rozkład jest zdegenerowane w .

s2=1n1i=1n(xix¯)2
σ2
E(s2)<E(s2)=σ
s2σ2
NRH
źródło
19

Uzupełniając odpowiedź NRH, jeśli ktoś uczy tego grupie studentów, którzy jeszcze nie badali nierówności Jensena, jednym ze sposobów jest zdefiniowanie przykładowego odchylenia standardowego załóżmy, że nie jest zdegenerowany (dlatego ) i zauważ równoważność SnVar[Sn]00<Var[Sn]=E[S2n]-E2[Sn]

Sn=i=1n(XiX¯n)2n1,
SnVar[Sn]0
0<Var[Sn]=E[Sn2]E2[Sn]E2[Sn]<E[Sn2]E[Sn]<E[Sn2]=σ.
Zen
źródło