Różnica między błędem standardowym a odchyleniem standardowym

96

Próbuję zrozumieć różnicę między błędem standardowym a odchyleniem standardowym. Czym się różnią i dlaczego należy zmierzyć błąd standardowy?

Louis Xie
źródło
7
Szybki komentarz, a nie odpowiedź, ponieważ dwa przydatne są już obecne: odchylenie standardowe jest właściwością (rozkładu) zmiennych losowych. Błąd standardowy jest natomiast powiązany z pomiarem na określonej próbce. Obie mogą się pomylić, zacierając rozróżnienie między wszechświatem a twoją próbką.
Francesco
Prawdopodobnie interesujące: stats.stackexchange.com/questions/15505/…
Makro

Odpowiedzi:

31

Aby uzupełnić odpowiedź na pytanie, Ocram ładnie rozwiązał standardowy błąd, ale nie przeciwstawił go standardowemu odchyleniu i nie wspomniał o zależności od wielkości próby. Jako szczególny przypadek estymatora rozważ średnią z próby. Standardowy błąd dla średniej to gdzieσ/nσto odchylenie standardowe populacji. W tym przykładzie wyraźnie widzimy, jak błąd standardowy zmniejsza się wraz ze wzrostem wielkości próby. Odchylenie standardowe jest najczęściej stosowane w odniesieniu do poszczególnych obserwacji. Tak więc odchylenie standardowe opisuje zmienność poszczególnych obserwacji, podczas gdy błąd standardowy pokazuje zmienność estymatora. Dobre estymatory są spójne, co oznacza, że ​​są zbieżne z prawdziwą wartością parametru. Gdy ich błąd standardowy zmniejsza się do 0 wraz ze wzrostem wielkości próby, estymatory są spójne, co w większości przypadków się zdarza, ponieważ błąd standardowy idzie do 0, co widzimy wyraźnie ze średnią próbki.

Michael Chernick
źródło
3
Re: „… spójne, co oznacza, że ​​ich standardowy błąd zmniejsza się do 0” - to nieprawda. Czy pamiętasz tę dyskusję: stats.stackexchange.com/questions/31036/... ?
Makro
1
Tak, oczywiście pamiętam dyskusję o nietypowych wyjątkach i myślałem o tym, odpowiadając na pytanie. Pytanie dotyczyło jednak błędów standardowych i, w uproszczeniu, dobre oszacowania parametrów są spójne i ich standardowe błędy mają tendencję do 0, jak w przypadku średniej z próby.
Michael Chernick
4
Zgadzam się z twoim komentarzem - błąd standardowy średniej próbki wynosi 0, a średnia próbki jest spójna. Ale jego standardowy błąd zbliżający się do zera nie jest konsekwencją (ani równoważnym) faktu, że jest spójny, jak mówi twoja odpowiedź.
Makro
3
@Macro tak, odpowiedź może zostać poprawiona, co postanowiłem zrobić. Uważam, że ważne jest, aby nie być zbyt technicznym z PO, ponieważ kwalifikowanie wszystkiego może być skomplikowane i mylące. Ale nie należy poświęcać technicznej dokładności dla uproszczenia. Myślę więc, że sposób, w jaki rozwiązałem ten problem w mojej edycji, jest najlepszym sposobem na zrobienie tego.
Michael Chernick,
9
Zgadzam się, że ważne jest, aby nie uzyskiwać wiedzy technicznej, chyba że jest to absolutnie konieczne. Moim jedynym komentarzem było to, że gdy już zdecydujesz się wprowadzić pojęcie spójności (koncepcja techniczna), nie ma sensu źle ją scharakteryzować w celu ułatwienia zrozumienia odpowiedzi. Myślę, że twoja edycja dotyczy moich komentarzy.
Makro
51

Oto bardziej praktyczna (a nie matematyczna) odpowiedź:

  • SD (odchylenie standardowe) określa ilościowo rozproszenie - o ile wartości różnią się między sobą.
  • SEM (błąd standardowy średniej) określa ilościowo, jak dokładnie znasz prawdziwą średnią populacji. Uwzględnia zarówno wartość SD, jak i wielkość próbki.
  • Zarówno SD, jak i SEM są w tych samych jednostkach - jednostkach danych.
  • SEM z definicji jest zawsze mniejszy niż SD.
  • SEM zmniejsza się wraz ze wzrostem próbek. Ma to sens, ponieważ średnia z dużej próbki może być bliższa rzeczywistej średniej populacji niż średnia z małej próbki. Dzięki dużej próbce poznasz wartość średniej z dużą precyzją, nawet jeśli dane są bardzo rozproszone.
  • SD nie zmienia się przewidywalnie w miarę zdobywania większej ilości danych. SD obliczane na podstawie próby jest najlepszym możliwym oszacowaniem SD całej populacji. Gdy zbierzesz więcej danych, będziesz oceniać SD populacji z większą precyzją. Ale nie można przewidzieć, czy SD z większej próbki będzie większe czy mniejsze niż SD z małej próbki. (Jest to uproszczenie, niezupełnie prawdziwe. Zobacz komentarze poniżej.)

Pamiętaj, że standardowe błędy można obliczyć dla prawie każdego parametru obliczanego na podstawie danych, a nie tylko średniej. Wyrażenie „błąd standardowy” jest nieco niejednoznaczne. Powyższe punkty odnoszą się tylko do standardowego błędu średniej.

(Z przewodnika statystycznego GraphPad, który napisałem.)

Harvey Motulsky
źródło
11
+1 Za jasne, przydatne porady. Ale niektóre wyjaśnienia są w kolejności, z których najważniejsze odnoszą się do ostatniej kuli: chciałbym rzucić ci wyzwanie w grze w prognozowanie SD. Obserwujemy SD z próbek, powiedzmy, rozkładu normalnego. I będzie przewidzieć, czy SD będzie wyższa lub niższa po kolejnych próbek, powiedzmy. Płacisz mi dolara, jeśli mam rację, w przeciwnym razie płacę ci dolara. (Przy prawidłowej grze - którą zapraszam do rozgryzienia! - oczekiwanie na tę grę jest dla mnie pozytywne, osiągając poziom okołon100n.18n=2
4
@whuber: Oczywiście masz rację. Jest to wariancja (SD podniesiona do kwadratu), która nie zmieni się przewidywalnie, gdy dodasz więcej danych. SD zwiększy się nieco wraz ze wzrostem wielkości próbki, szczególnie gdy zaczynasz od małych próbek. Ta zmiana jest niewielka w porównaniu ze zmianą SEM wraz ze zmianą wielkości próby.
Harvey Motulsky
@HarveyMotulsky: Dlaczego SD rośnie?
Andrew
Przy dużych próbach wariancja próbki będzie dość zbliżona do wariancji populacji, więc SD próbki będzie zbliżone do SD populacji. W przypadku mniejszych próbek wariancja próbki będzie równa wariancji populacji, ale rozbieżności będą większe. Jeśli będą symetryczne jak wariancje, będą asymetryczne jak SD. Przykład: wariancja populacji wynosi 100. Dwie wariancje próbki to 80 lub 120 (symetryczne). Próbka SD powinna wynosić 10, ale będzie 8,94 lub 10,95. Średnie próbki SD z symetrycznego rozkładu wokół wariancji populacji, a średnia SD będzie niska, z niską N.
Harvey Motulsky
43

θx={x1,,xn}θθ^(x)θ^(x)xx~θ^(x~)θ^(x)θ^θ^(x)θ^

ocram
źródło
1
Czy błąd standardowy oszacowania jest równy odchyleniu standardowemu szacowanej zmiennej?
Yurii
6

(zwróć uwagę, że skupiam się na standardowym błędzie średniej, który moim zdaniem również był pytający, ale możesz wygenerować standardowy błąd dla dowolnej statystyki próbki)

Błąd standardowy związany jest ze standardowym odchyleniem, ale nie są one tym samym, a zwiększenie wielkości próbki nie zbliża ich do siebie. Raczej czyni je bardziej oddalonymi od siebie. Odchylenie standardowe próbki zbliża się do odchylenia standardowego populacji wraz ze wzrostem wielkości próby, ale nie standardowym błędem.

Czasami terminologia wokół tego jest trochę gruba, aby się z nią zapoznać.

Po zebraniu próbki i obliczeniu standardowego odchylenia dla tej próbki, gdy próbka powiększa się, oszacowanie standardowego odchylenia staje się coraz bardziej dokładne. Z twojego pytania wynika, że ​​właśnie o tym myślałeś. Należy również wziąć pod uwagę, że średnia z próby jest zwykle bliższa średniej dla populacji. Ma to kluczowe znaczenie dla zrozumienia standardowego błędu.

Standardowy błąd dotyczy tego, co by się stało, gdybyś otrzymał wiele próbek o danym rozmiarze. Jeśli weźmiesz próbkę 10, możesz uzyskać oszacowanie średniej. Następnie bierzesz kolejną próbkę 10 i nowe średnie oszacowanie i tak dalej. Standardowe odchylenie średnich z tych próbek jest błędem standardowym. Biorąc pod uwagę, że postawiłeś pytanie, prawdopodobnie teraz widzisz, że jeśli N jest wysokie, to błąd standardowy jest mniejszy, ponieważ średnie prawdopodobieństwo, że próbki będą znacznie różnić się od prawdziwej wartości.

Dla niektórych brzmi to trochę cudownie, biorąc pod uwagę, że obliczono to na podstawie jednej próbki. Tak więc, co możesz zrobić, to załadować standardowy błąd poprzez symulację, aby zademonstrować związek. W R wyglądałoby to tak:

# the size of a sample
n <- 10
# set true mean and standard deviation values
m <- 50
s <- 100

# now generate lots and lots of samples with mean m and standard deviation s
# and get the means of those samples. Save them in y.
y <- replicate( 10000, mean( rnorm(n, m, s) ) )
# standard deviation of those means
sd(y)
# calcuation of theoretical standard error
s / sqrt(n)

Przekonasz się, że te dwa ostatnie polecenia generują tę samą liczbę (w przybliżeniu). Możesz zmieniać wartości n, m i s, a one zawsze będą zbliżać się do siebie.

Jan
źródło
Uważam to za bardzo pomocne, dzięki za wysłanie wiadomości. Czy byłoby zatem słuszne opisanie błędu standardowego jako „odchylenie standardowe rozkładu próbkowania”? Czy rozkład próbkowania jest w powyższym bloku kodu? To mnie pomyliło, łącząc parametry próbki sd i mean z parametrami rozkładu próbkowania.
Doug Fir
1
Jeśli zmienisz sformułowanie, aby określić przykładowe środki dla tego przypadku, tak.
John