Dlaczego odchylenie standardowe próbki jest stronniczym estymatorem

Zgodnie z artykułem Wikipedii na temat obiektywnej oceny odchylenia standardowego próbka SD

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

jest tendencyjnym estymatorem SD populacji. Stwierdza, że . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB Zmienne losowe są niezależne i każda $x_{i} \sim N(\mu,\sigma^{2})$

Moje pytanie jest dwojakie:

Jaki jest dowód stronniczości?
Jak obliczyć oczekiwane odchylenie standardowe próbki

Moja wiedza na temat matematyki / statystyk jest tylko pośrednia.

estimation standard-deviation Dav Weps
źródło

Odpowiedź na oba pytania znajdziesz w artykule w Wikipedii na temat dystrybucji Chi .

whuber

Odpowiedź NRH na to pytanie daje ładny, prosty dowód na stronniczość odchylenia standardowego próbki. Tutaj wyraźnie obliczyć oczekiwane odchylenie standardowe próbki (drugie pytanie oryginalnego plakatu) od normalnie rozłożonej próbki, w którym to momencie odchylenie jest jasne.

Bezstronna próbna wariancja zbioru punktów wynosi $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Jeśli są normalnie dystrybuowane, jest to faktem $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} \sim χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

gdzie jest prawdziwą wariancją. Rozkład ma gęstość prawdopodobieństwa $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

używając tego możemy uzyskać oczekiwaną wartość ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d x \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

co wynika z definicji wartości oczekiwanej i faktu, że jest pierwiastkiem kwadratowym zmiennej rozproszonej . Sztuką jest teraz zmiana kolejności terminów, tak aby integrand stał się inną gęstością : $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

teraz wiemy, że całka i ostatnia linia jest równa 1, ponieważ jest to gęstość . Uproszczenie stałych daje trochę $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

Dlatego błąd jest $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ as .

n \to \infty

$n \to \infty$

Nietrudno zauważyć, że to odchylenie nie jest równe 0 dla żadnego skończonego , co dowodzi odchylenia standardowego próbki. Poniżej odchylenia jest wykres w funkcji dla na czerwono wraz z na niebiesko: $n$ $n$ $\sigma=1$ $1/4n$

wprowadź opis zdjęcia tutaj

Makro
źródło

(+1) Dobra odpowiedź. Mam nadzieję, że nie masz nic przeciwko, poprawiłem kilka bardzo drobnych rzeczy i dodałem asymptotyczny wynik w odniesieniu do stronniczości. Przypuszczam, że można nałożyć krzywą na wykres, ale prawdopodobnie nie jest to konieczne. Twoje zdrowie. :)

(4 n)^{- 1}

$(4n)^{-1}$

kardynał

Naprawdę bardzo się starałeś, aby zrobić to makro. Kiedy po raz pierwszy zobaczyłem post około minutę temu, myślałem o wykazaniu stronniczości przy użyciu reguły Jensena, ale ktoś już to zrobił.

Michael Chernick,

oczywiście jest to okrągły sposób pokazania, że odchylenie standardowe jest tendencyjne - odpowiadałem głównie na drugie pytanie pierwotnego autora: „Jak obliczyć oczekiwane odchylenie standardowe?”.

Makro

Inną kwestią, o której warto wspomnieć, jest to, że obliczenia te pozwalają natychmiast odczytać, czym jest estymator UMVU odchylenia standardowego w przypadku Gaussa: wystarczy pomnożyć przez odwrotność współczynnika skali, który pojawia się w dowodzie. Uogólnia to estymatory UMVU dość łatwo.

s

$s$

σ^{k}

$\sigma^k$

kardynał

Przepraszam, Makro. To samo podstawowe podejście, które zastosowałeś, zadziała, po prostu skończysz na innym współczynniku skalowania , z argumentami gamma, które otrzymujesz jako funkcjami . To miałem na myśli, ale wyszło to nieco zbyt zwięźle. :)

s^{k}

$s^k$

k

$k$

kardynał

Dlaczego odchylenie standardowe próbki jest stronniczym estymatorem

Odpowiedzi: