Czy należy stosować średnią, gdy dane są wypaczone?

14

Często wprowadzane teksty statystyki statystycznej odróżniają średnią od mediany (często w kontekście statystyki opisowej i motywując do podsumowania tendencji centralnej za pomocą średniej, mediany i trybu), wyjaśniając, że średnia jest wrażliwa na wartości odstające w danych próbki i / lub do wypaczonych rozkładów populacji, co służy uzasadnieniu twierdzenia, że ​​mediana powinna być preferowana, gdy dane nie są symetryczne.

Na przykład:

Najlepsza miara tendencji centralnej dla danego zestawu danych często zależy od sposobu dystrybucji wartości ... Gdy dane nie są symetryczne, mediana jest często najlepszą miarą tendencji centralnej. Ponieważ średnia jest wrażliwa na ekstremalne obserwacje, jest ona wyciągana w kierunku wartości danych zewnętrznych, w wyniku czego może skończyć się nadmiernym zawyżeniem lub nadmiernym
opróżnieniem . ” —Pagano i Gauvreau, (2000) Principles of Biostatistics , wyd. 2. (P & G były pod ręką, przy okazji, bez wyodrębnienia ich w sobie ).

Autorzy definiują „tendencję centralną” w ten sposób: „Najczęściej badaną cechą zbioru danych jest jego centrum lub punkt, w którym obserwacje mają tendencję do skupiania się”.

Uderza mnie to jako mniej niż bezpośredni sposób powiedzenia, że należy używać tylko mediany kropki , ponieważ użycie tylko średniej, gdy dane / rozkłady są symetryczne, jest tym samym, co powiedzenie, że należy użyć średniej, gdy jest ona równa medianie. Edytuj: whuber słusznie wskazuje, że łączę solidne miary tendencji centralnej z medianą. Ważne jest więc, aby pamiętać, że omawiam konkretne ramy średniej arytmetycznej w porównaniu do mediany we wprowadzających statystykach stosowanych (gdzie, poza tym, inne miary tendencji centralnej nie są motywowane).

Czy zamiast oceniać użyteczność środka na podstawie tego, jak bardzo odbiega on od zachowania mediany, czy nie powinniśmy po prostu rozumieć ich jako dwóch różnych miar centralności? Innymi słowy, wrażliwość na skośność jest cechą tego środka. Równie słusznie można argumentować: „cóż, mediana nie jest dobra, ponieważ jest w dużej mierze niewrażliwa na skośność, więc używaj jej tylko wtedy, gdy jest równa średniej”.

(Tryb całkiem rozsądnie nie angażuje się w to pytanie).

Alexis
źródło
3
Osobiście lubię uwzględniać zarówno miary, średnią i medianę, które dadzą czytelnikowi nie tylko pewne informacje o tendencji centralnej, ale także wyobrażenie o tym, jak wypaczone są dane.
bdeonovic
1
Pewien kontekst i wyjaśnienie poprawiłoby to pytanie. (1) W jakim kontekście (hipotetyczne) teksty wprowadzające twierdzą, że należy preferować środek i do jakiego celu? (2) Jak dokładnie te teksty „oceniają użyteczność środka, o ile odbiega od zachowania mediany”? Czy możesz podać przykład lub ofertę, abyśmy mogli lepiej zrozumieć?
whuber
2
W pewnym momencie źle interpretujesz: mediana nie jest jedyną statystyką, która jest odporna na kilka ekstremalnych obserwacji. Tak więc średnia jest określana na podstawie (często) niepożądanej cechy, a nie przez jakiekolwiek porównanie z medianą. Ale dostrzegam również twoją troskę i być może wiąże się to z domniemanym splotem asymetrii i istnieniem wartości odstających, które występują w tym cytacie. Jest to niestety źle pomyślane, ponieważ chociaż wartości odstające czasami implikują asymetrię, odwrotność często nie jest prawdą.
whuber
7
Czytelnicy znajdą tutaj następujący interesujący wątek: Jeśli środek jest tak wrażliwy, po co go używać?
gung - Przywróć Monikę
2
W świetle definicji podanej dla „tendencji centralnej” wydaje się jasne, dlaczego środek nie byłby przydatnym miernikiem w przypadku wypaczenia lub wartości odstających. To, czy naprawdę chcesz oszacować to pojęcie tendencji centralnej, wydaje się inną sprawą!
jsk

Odpowiedzi:

16

Nie zgadzam się z tą radą jako ogólną zasadą. (To nie jest wspólne dla wszystkich książek.)

Problemy są bardziej subtelne.

Jeśli faktycznie chcesz wyciągnąć wnioski na temat średniej populacji, średnia próby jest przynajmniej bezstronnym estymatorem i ma wiele innych zalet. W rzeczywistości zobacz twierdzenie Gaussa-Markowa - najlepiej liniowo bezstronne.

Jeśli twoje zmienne są mocno wypaczone, problem pojawia się z „liniowym” - w niektórych sytuacjach wszystkie estymatory liniowe mogą być złe, więc najlepsze z nich mogą być nadal nieatrakcyjne, więc estymator średniej, która jest nieliniowa, może być lepszy , ale wymagałoby to wiedzy (lub nawet dość dużo) na temat dystrybucji. Nie zawsze mamy ten luksus.

Jeśli niekoniecznie jesteś zainteresowany wnioskami dotyczącymi średniej populacji („ jaki jest typowy wiek? ”, Powiedz lub czy istnieje bardziej ogólne przesunięcie lokalizacji z jednej populacji do drugiej, które może być sformułowane w odniesieniu do dowolnej lokalizacji, a nawet testu stochastycznie większego niż jedna zmienna), a następnie wyrzucenie, że ze względu na populację średnia nie jest konieczna lub prawdopodobnie przynosi efekt przeciwny do zamierzonego (w ostatnim przypadku).

Myślę więc, że sprowadza się do myślenia o:

  • jakie są twoje rzeczywiste pytania? Czy w tej sytuacji populacja jest czymś dobrym?

  • jaki jest najlepszy sposób na odpowiedź na pytanie w danej sytuacji (skośność w tym przypadku)? Czy użycie próbki oznacza najlepsze podejście do odpowiedzi na nasze pytania?

Być może masz pytania, które nie dotyczą bezpośrednio środków populacyjnych, ale mimo to średnie próby są dobrym sposobem na spojrzenie na te pytania ... lub odwrotnie - pytanie może dotyczyć średnich populacji, ale średnie próby mogą nie być najlepszym sposobem na odpowiedz na to pytanie.

Glen_b - Przywróć Monikę
źródło
14

W prawdziwym życiu powinniśmy wybrać miarę tendencji centralnej w oparciu o to, co próbujemy ustalić; i tak, czasami tryb jest właściwy do użycia. Czasami jest to środek Winsorized lub przycięty. Czasami średnia geometryczna lub harmoniczna. Czasami nie ma dobrej miary tendencji centralnej.

Książki wprowadzające są źle napisane, uczą, że obowiązują zasady dotyczące książek kucharskich.

Weź dochód. Jest to często bardzo wypaczone i czasami ma wartości odstające; z pewnością zwykle widzimy „medianę dochodu”. Ale czasem wartości odstające i skośność są ważne. To zależy od kontekstu i wymaga przemyślenia.

Pisałem o tym więcej

Peter Flom - Przywróć Monikę
źródło
2
Peter, bardzo dziękuję za link do twojego postu. Chciałbym, aby teksty wprowadzające zajęły od 1 do 2 stron miejsca niezbędnego do zapewnienia tak przemyślanego rozważenia, jak tam.
Alexis
4
Nie napisałem żadnego, ale chcę wstawić trochę obrony tekstów wprowadzających. Każdy tekst wprowadzający, który starałby się przedstawić w pełni dopracowany obraz, który doświadczeni profesjonaliści uznaliby za taki, byłby płomienny przez prawie wszystkich zamierzonych odbiorców; w rzeczywistości nawet nie zostałby opublikowany.
Nick Cox
5
Komentarz merytoryczny: gdy wartości są addytywne, tak że sumy mają (np.) Sens fizyczny, średnia jest naturalnym podsumowaniem niezależnie od rozkładu poszczególnych wartości.
Nick Cox,
3
@NickCox Myślę, że teksty wprowadzające mogą zrobić o wiele lepiej niż oni. Dla średniej vs. mediany nie jest to nawet argument matematyczny - jest to argument merytoryczny. Teksty wprowadzające muszą informować osobę, która je czyta, że ​​tak naprawdę nie mają kwalifikacji do analizy danych.
Peter Flom - Przywróć Monikę
2
@jsk. OK Myślę, że należy im wyraźnie powiedzieć w statystykach, ponieważ wiele osób wydaje się myśleć, że są gotowe po jednym kursie analizy danych; w wielu dziedzinach (psychologii, socjologii, medycynie itp.) oczekuje się, że ludzie przeprowadzą analizę danych już po 1, 2, a czasem 3 kursach. Na przykład w programach doktoranckich oczekuje się pisania prac doktorskich. Dlaczego jest to bardziej oczywiste w innych dziedzinach? Nie jestem pewien.
Peter Flom - Przywróć Monikę
6

Nawet gdy dane są zniekształcone (np. Koszty opieki zdrowotnej obliczane obok badania klinicznego, w którym niewielu pacjentów osiągnęło zerowy koszt, ponieważ umierają tuż po rejestracji, a niewielu pacjentów narosło masę kosztów z powodu skutków ubocznych danego programu opieki zdrowotnej objętego dochodzeniem ), średnia może być preferowana zamiast mediany z co najmniej jednego praktycznego powodu: pomnożenie średniego kosztu dla liczby pacjentów daje decydentom opieki zdrowotnej wpływ na budżet badanej technologii opieki zdrowotnej.

Carlo Lazzaro
źródło
Przywołując komentarz Carlo: jeśli jesteś zainteresowany całkowitą populacją (np. W próbkowaniu kontrolnym), to jesteś zainteresowany średnią, okresem. Jeśli nie ma znaczenia, jak wypaczona lub podatna jest dystrybucja, musisz sobie z tym poradzić. Nie możesz Winsorize, przycinać, w inny sposób usuwać wartości odstające ani logować transformacji. Stratyfikacja może bardzo pomóc; w przypadku skrajnych wartości odstających, powinny być one wykonane jako warstwy dla siebie.
Peter Westfall
3

Myślę, że brakuje w tym pytaniu, jak również w obu odpowiedziach, że dyskusja średniej vs. mediany w książkach ze statystykami wprowadzającymi zwykle pojawia się na początku rozdziału o tym, jak liczbowo podsumować rozkład. W przeciwieństwie do wnioskowania statystycznego, chodzi zasadniczo o tworzenie statystyk opisowych, które byłyby użytecznym sposobem przekazywania informacji o rozkładzie danych liczbowo, a nie graficznie. Konteksty, w których się to pojawia, to sekcja statystyki opisowej raportu lub artykułu w czasopiśmie, w której ogólnie nie ma miejsca na graficzne podsumowania wszystkich zmiennych w zbiorze danych. Jeśli rozkład jest wypaczony, wydaje się rozsądne w tym kontekście wybranie mediany zamiast średniej. Jeśli rozkład jest symetryczny bez wartości odstających,

jsk
źródło
1
Warto zwrócić uwagę na statystyki opisowe i wnioskowania. Ale skutecznie mówisz (dla statystyk opisowych) „używaj średniej tylko wtedy, gdy jest taka sama jak mediana”. Jeśli rozkład jest wypaczony, to mediana ma słabą reprezentację pojęcia per capita , prawda? Czy zatem nie jest tak samo słuszne zajmowanie pozycji „stosować medianę tylko wtedy, gdy jest ona równa średniej?” Jest to tak samo arbitralne i wydaje się odwracać uwagę od merytorycznego znaczenia tych środków (dla osób je uczących się).
Alexis
1
Czy celem nie jest przedstawienie koncepcji per capita? Mówi kto Po co zakładać, że nie jest to celem?
Alexis
1
Nie widzę żadnych chamstw ani „zachowywania się w szoku” pochodzących z PO ... tylko mówię ...
Nick Stauner
1
Nie widzę, żeby miało znaczenie, czy w tym przypadku robisz statystyki wnioskowania czy opisowe. Jeżeli odpowiednią miarą opisową tendencji centralnej jest mediana, należy wyciągnąć wnioski na temat mediany; jeśli średnia, to średnia. Jeśli żadna miara opisowa nie ma sensu, wówczas żadna miara wnioskowania również nie będzie miała sensu.
Peter Flom - Przywróć Monikę
1
@PeterFlom Co z przypadkami, w których cel końcowy nie jest wnioskowanie? Zgadzam się, że adekwatność statystyki opisowej zależy całkowicie od powodu jej sporządzenia. Pojęcie, że „żaden środek opisowy nie ma sensu” wydaje się sugerować, że statystyka opisowa nie może być z natury znacząca. Argumentowałbym, że w prawie wszystkich przypadkach mediana ma sens jako miara środka rozkładu z definicji. To, czy ma to sens w innych celach, to kolejne pytanie.
jsk