Dlaczego fakt, że 1 mediana jest niższa niż inna mediana, nie oznacza, że ​​większość w grupie 1 jest mniejsza niż większość w grupie 2?

9

Uważałem, że poniższe wykresy pudełkowe można interpretować jako „większość mężczyzn jest szybsza niż większość kobiet” (w tym zbiorze danych), przede wszystkim dlatego, że mediana czasu mężczyzn była krótsza niż mediana czasu kobiet. Ale kurs EdX na temat R i quizu statystycznego powiedział mi, że jest niepoprawny. Pomóż mi zrozumieć, dlaczego moja intuicja jest nieprawidłowa.

Oto pytanie:

Rozważmy losową próbę osób kończących Maraton Nowojorski w 2002 roku. Ten zestaw danych można znaleźć w pakiecie UsingR. Załaduj bibliotekę, a następnie załaduj zestaw danych nym.2002.

library(dplyr)
data(nym.2002, package="UsingR")

Użyj wykresów pudełkowych i histogramów, aby porównać czasy wykończenia mężczyzn i kobiet. Które z poniższych najlepiej opisuje różnicę?

  1. Mężczyźni i kobiety mają ten sam rozkład.
  2. Większość mężczyzn jest szybsza niż większość kobiet.
  3. Samce i samice mają podobne prawe wypaczone rozkłady z pierwszym, 20 minut przesunięte w lewo.
  4. Obie dystrybucje są zwykle dystrybuowane ze średnią różnicą około 30 minut.

Oto czasy maratonu w Nowym Jorku dla mężczyzn i kobiet, jako kwantyle, histogramy i wykresy pudełkowe:

# Men's time quantile
      0%      25%      50%      75%     100% 
147.3333 226.1333 256.0167 290.6375 508.0833

# Women's time quantile
      0%      25%      50%      75%     100% 
175.5333 250.8208 277.7250 309.4625 566.7833

Czasy męskie i żeńskie - histogram

Czasy męskie i żeńskie - boxplot

kminek
źródło
Aby wizualnie sprawdzić ten sam rozkład, histogramy powinny używać tej samej domeny x i przedziałów, a oś y powinna pokazywać częstotliwość względną. Rozmiar pasma bin skorzystałby na większej ziarnistości, np. 25 lub 50 minut. Dodatkowo na wykresach pudełkowych i histogramach narysuj medianę (już na wykresie pudełkowym), średnią i tryb.
g3o2,
Ponownie pytanie z tytułu: rozważ jednolite rozkłady na {0,3)} i {2)}. Mediana tego ostatniego jest większa, ale biorąc pod uwagę losową realizację każdego z nich, prawdopodobieństwo, że druga będzie większa, jest takie samo, jak mniejsze (0,5). Jeśli więc zdefiniujesz „większość jest większa” przez ”, biorąc pod uwagę dwie losowe próbki X i Y, po jednej z każdej,P.(X>Y)>0,5„relacja między medianami X i Y niewiele o tym mówi.
AlexR

Odpowiedzi:

7

Myślę, że powód, dla którego zostałeś oznaczony jako niepoprawny, to nie tyle, że odpowiedź, którą udzieliłeś na pytanie z wieloma pytaniami, była błędna, a raczej, że opcja 3 „Samce i kobiety mają podobne prawe wypaczone rozkłady z pierwszym, 20 minut przesunięte w lewo” byłby lepszym wyborem, ponieważ jest bardziej informacyjny w oparciu o dostarczone informacje.

Robert Jones
źródło
Zgadzam się z tym wyjaśnieniem. Także „najbardziej szybszy niż większość” jest tak niejednoznaczny. Pomimo odpowiedzi udzielonej przez @glen_b, spodziewałbym się o wiele większej separacji na wykresach pudełkowych dla tego rodzaju języka. Jak „wszystkie 75% mężczyzn jest szybszych niż wszystkie 75% kobiet”, co, moim zdaniem, przełożyłoby się na to, że 75. percentyl czasów męskich jest niższy niż 25. percentyl czasów kobiecych. Ale język jest dwuznaczny.
Sal Mangiafico
1
Ponadto dochodzi do zasady przeprowadzania testów wielokrotnego wyboru: zawsze wybieraj najlepszą odpowiedź.
Sal Mangiafico
To ma sens; nie chodzi o to, że drugi wybór był NIEPRAWIDŁOWY, ale że poprawny wybór („Samce i samice mają podobny rozkład pochylony w prawo w stosunku do poprzedniego, 20 minut przesunięty w lewo”) był bardziej trafny. Jednak nie widzę do końca przesunięcia o 20 minut w histogramach; dla mnie wygląda to bardziej na 50-minutową zmianę. Ponieważ miałem dwie szanse, mam prawidłowe pytanie, FWIW :-).
kminek
@cumin: Nie jestem pewien, czy to właściwie prawda. „Większość mężczyzn jest szybsza niż większość kobiet” jest niejasne co do tego, co oznacza „większość” - nie sądzę, że kiedykolwiek widziałem ścisłą definicję i intuicyjnie jest to zwykle znacznie więcej niż 50% (może 70% +?) . Gdyby powiedzieli „większość”, być może byłoby to jaśniejsze.
user541686,
9

Oto najmniejszy kontrprzykład, jaki udało mi się znaleźć:

1,4,10;  B 0,6,9

  • A ( [1, 4, 10])i B ( [0, 6, 9]) mają tę samą średnią ( 5)

  • B ma większą medianę ( 6) niż A ( 4)

  • Istnieje prawdopodobieństwo 5/9, że losowy element A jest większy niż losowy element B.

Oto kolejny przykład z 4 elementami:

1,1,3,10;  B 0,0,6,9

Eric Duminil
źródło
7

„Większość mężczyzn jest szybsza niż większość kobiet” jest potencjalnie trochę niejednoznaczna, ale normalnie zinterpretowałbym jej intencję, że jeśli spojrzymy na losowe pary, przez większość czasu mężczyzna byłby szybszy - tj. P.(M.ja<fajot)>12) losowo ja,jot (gdzie M.ja jest czas na ja-ty mężczyzna ”itp.).

Oczywiście możliwe są inne interpretacje tego wyrażenia (w końcu to taka dwuznaczność), a niektóre z tych innych możliwości mogą być zgodne z twoim rozumowaniem.

[Mamy również problem z tym, czy mówimy o próbkach czy populacjach ... „większość mężczyzn […] większość kobiet” wydaje się oświadczeniem populacyjnym (o populacji potencjalnego czasu), ale obserwowaliśmy tylko czasy że wydaje się, że traktujemy to jako próbkę, więc musimy uważać na to, jak szerokie jest to twierdzenie.]

Zauważ, że P.(M.ja<fajot)>12) nie wynika z tego M.~<fa~. Mogą iść w przeciwnych kierunkach.

[Nie twierdzę, że się mylisz, sądząc, że odsetek losowych par MF, w których mężczyzna był szybszy niż kobieta, jest większy niż 1/2 - prawie na pewno masz rację. Mówię tylko, że nie można tego powiedzieć, porównując mediany. Nie można tego powiedzieć, patrząc na proporcję w każdej próbce powyżej lub poniżej mediany drugiej próbki. Musisz dokonać innego porównania.]

Oznacza to, że podczas gdy mediana mężczyzny może być szybsza niż mediana kobiety, możliwe jest uzyskanie próbki czasów (lub ciągłego rozkładu czasów, jeśli chodzi o tę sprawę), gdzie szansa, że ​​losowy mężczyzna jest szybszy niż losowa kobieta, jest mniej niż12). W dużych próbkach oba przeciwne wskazania mogą być znaczące.


Przykład:

Zestaw danych A:

 1.58  2.10 16.64 17.34 18.74 19.90  1.53  2.78 16.48 17.53 18.57 19.05
 1.64  2.01 16.79 17.10 18.14 19.70  1.25  2.73 16.19 17.76 18.82 19.08
 1.42  2.56 16.73 17.01 18.86 19.98

Zestaw danych B:

 3.35  4.62  5.03 20.97 21.25 22.92  3.12  4.83  5.29 20.82 21.64 22.06
 3.39  4.67  5.34 20.52 21.10 22.29  3.38  4.96  5.70 20.45 21.67 22.89
 3.44  4.13  6.00 20.85 21.82 22.05

Zestaw danych C:

 6.63  7.92  8.15  9.97 23.34 24.70  6.40  7.54  8.24  9.37 23.33 24.26
 6.18  7.74  8.63  9.62 23.07 24.80  6.54  7.37  8.37  9.09 23.22 24.16
 6.57  7.58  8.81  9.08 23.43 24.45

(Dane są tutaj , ale są tam wykorzystywane do innego celu - o ile pamiętam, sam je wygenerowałem)

Zauważ, że proporcja A <B wynosi 2/3, proporcja A <C wynosi 5/9, a proporcja B <C wynosi 2/3. Zarówno A w porównaniu do B, jak i B w porównaniu do C są znaczące na poziomie 5%, ale możemy osiągnąć dowolny poziom istotności, po prostu dodając wystarczającą liczbę kopii próbek. Możemy nawet uniknąć powiązań, duplikując próbki, ale dodając wystarczająco małe drgania (wystarczająco mniejsze niż najmniejsza przerwa między punktami)

Przykładowe mediany idą w innym kierunku: mediana (A)> mediana (B)> mediana (C)

Ponownie możemy osiągnąć znaczenie dla pewnego porównania median - na dowolnym poziomie istotności - poprzez powtórzenie próbek.

Zestawienie próbek A, B i C z medianami zaznaczonymi pokazując P (A <B) w kierunku przeciwnym do median itp.

Aby odnieść to do obecnego problemu, wyobraź sobie, że A to „czasy kobiet”, a B to „czasy mężczyzn”. Wówczas średni czas mężczyzn jest krótszy, ale losowo wybrany mężczyzna będzie 2/3 czasu wolniejszy niż losowo wybrana kobieta.

Biorąc nasz sygnał z próbek A i C, możemy wygenerować większy zestaw danych (w R) w następujący sposób:

n <- 300
F <- c(runif(n/3,0,5),runif(n-n/3,15,20))
M <- c(runif(n-n/3,7.5,12.5),runif(n/3,22.5,27.5))

Mediana F wyniesie około 16,25, a mediana M wyniesie około 11,25, ale odsetek przypadków, w których F <M wyniesie 5/9.

[Jeśli zastąpimy n / 3 dwumianowym zmiennym z parametrami n i 13) będziemy pobierać próbki z populacji, w której mediana rozkładu F wynosi 16,25, podczas gdy mediana rozkładu M wynosi 11,25. Tymczasem w tej populacji prawdopodobieństwo, że F <M będzie ponownie wynosić 5/9.]

Zauważ też, że P.(fa<med(M.))=2)3) i P.(M.>med(fa))=2)3) podczas med(M.)<med(fa) (na znaczną odległość).

Glen_b - Przywróć Monikę
źródło
Widzę, jak środki mogą iść w przeciwnych kierunkach, ale przyznaję, że moje intuicje pasują do PO. Nie rozumiem, w jaki sposób mediany mogą (oprócz problemu błędu próbkowania).
gung - Przywróć Monikę
@ gung Podałem przykład. Uwielbiam w ten sposób kłuć moje początkowe intuicje - znajdując dla nich kontrprzykłady. Jeśli napotkam więcej (myślę, że mam gdzieś inną), postaram się o nich wspomnieć.
Glen_b
Wykres pudełkowy w pytaniu oryginalnym pokazuje, że około 60-65% (na gałkę oczną) mężczyzn ma czas krótszy niż średni czas dla kobiet (tj. Mniej niż czas dla 50% kobiet). To jest kawałek, który chciałbym wyjaśnić.
kminek
@cumin w moich próbkach A i C powyżej, 2/3 C jest mniejsza niż mediana dla A (większość C jest szybsza niż mediana A), podczas gdy P.(ZAja<dojot) losowo ja,jotwynosi około 56% (przez większość czasu losowe A bije losowe C). [Nie sądzę, aby twoje wnioski były w rzeczywistości niepoprawne w odniesieniu do twoich danych, po prostu sama ta informacja nie byłaby wystarczająca, aby je ustalić.] - Na końcu mojego postu wprowadziłem niewielką edycję na ten temat porównanie. Myślę, że bardzo trudno byłoby jednocześnie dopasować szczegóły na histogramach i wykresach pudełkowych i uzyskać rodzaj odwróconego
przeze
3
Zinterpretowałbym wyrażenie „większość mężczyzn jest szybsza niż większość kobiet” jako „co najmniej 50% mężczyzn jest szybszych niż co najmniej 50% kobiet”. Innymi słowy: biorąc pod uwagę mężczyznę X, warto zapytać, czy X jest szybszy niż 50% kobiet. Według mnie twierdzenie to mówi, że co najmniej 50% mężczyzn ma tę właściwość. To (wydaje mi się) PRAWDA, jeśli mediana mężczyzny jest szybsza niż mediana kobiety, ponieważ 50% mężczyzn byłoby szybszych niż mediana mężczyzn, którzy są szybsi niż mediana kobiet, którzy są szybsi niż 50% kobiet. (Zauważ jednak, że obejmuje to tylko 25% par kobieta-mężczyzna, co, jak sądzę, wyjaśnia twój wspaniały przykład.)
matmandan 10.09.17
3

Poniższe dane pochodzą z tego postu na blogu , który ilustruje ważne praktyczne zastosowanie tych pomysłów.

Standaryzacja zapewnia potężne urządzenie do porównywania 2 dystrybucji. Poniższe 3 liczby porównują wzrosty 130-miesięcznych chłopców i dziewcząt z Narodowego Programu Pomiaru Dziecka (NCMP) w Anglii. (Był to wiek modalny w tym zbiorze danych; wybrałem go po prostu, aby uzyskać jak najwięcej danych, a zatem najbardziej płynne wykresy, w obrębie jednej kohorty wiekowej).

Ryc. 1: Wysokości chłopców i dziewcząt w wieku 130 miesięcy z Narodowego Programu Pomiaru Dziecka w Anglii (NCMP)

Ryc. 1: Wysokości chłopców i dziewcząt w wieku 130 miesięcy z Narodowego Programu Pomiaru Dziecka w Anglii (NCMP)

Ryc. 2: Procenty wzrostu dla chłopców i dziewcząt w wieku 130 miesięcy.  Źródło: angielski NCMP

Ryc. 2: Procenty wzrostu dla chłopców i dziewcząt w wieku 130 miesięcy. Źródło: angielski NCMP

Rycina 3: Rozkład wysokości 130-miesięcznych dziewcząt w stosunku do chłopców w tym samym wieku.

Rycina 3: Rozkład wysokości 130-miesięcznych dziewcząt w stosunku do chłopców w tym samym wieku.

W ostatniej z tych liczb porównanie wysokości zostało ustandaryzowane zgodnie z wysokościami chłopców. Tak więc, czytając wzdłuż szarych kropkowanych linii na rycinie 3, możesz tworzyć takie oświadczenia, jak:

  • Mediana (tj. 50. percentyl) wzrostu dla chłopców wynosi około 45. percentyla dla dziewcząt. Zatem 100% - 45% = 55% dziewcząt było wyższych od mediany chłopca.
  • Wysokość górnego kwartylu (75 percentyl) dla dziewcząt osiąga górny kwartyl (80 percentyl) dla chłopców. Zatem wśród dzieci w wieku 130 lat dziewczynka, która jest wyższa niż 3 na 4 dziewczynki, jest również wyższa niż 4 na 5 chłopców.

Warto wspomnieć o jednym punkcie możliwego zamieszania na tej fabule. Chociaż linia 45 ° chłopców jest „wyższa” na wykresie niż krzywa karmazynowa dziewcząt, obserwacja ta odpowiada jednak dobrze znanemu faktowi, że w tym wieku (są to równiarki szóstej klasy) dziewczęta są zazwyczaj wyższe niż chłopcy . Zauważ, że wysokość ta jest odpowiednio odzwierciedlona w fakcie, że krzywa karmazynu jest przesunięta w prawo względem niebieskiej linii.

To podejście jest dość ogólne . Przy takim porównaniu jedna z grup - ta, do której się ustandaryzujesz - staje się linią 45 °. Inną grupą może być na ogół dowolna monotoniczna krzywa rosnąca od dolnej lewej do prawej górnej. Pod warunkiem, że podstawowe rozkłady są ciągłe (gęstości nie mają mas punktowych), porównywana krzywa będzie ciągła. Jeśli podstawowe gęstości dzielą to samo wsparcie , krzywa musi przebiegać(0,0) do (1,1).

Oryginalne pytanie można teraz przekształcić w kategoriach geometrycznych, jako pytanie, czy można narysować krzywą magenta z ryc. 3, aby jednocześnie osiągnąć (a) postulowaną relację między medianami i (b) relację nieco nieuchwytną, że @Glen_b wyjaśnione (słusznie, jak sądzę) w jego odpowiedzi. Zastanawiam się, czy nieciągłości dystrybucyjne (masy punktowe w gęstościach) mogłyby zapewnić przypadek „patologiczny”. Przypuszczam, że każdy taki patologiczny przypadek będzie „wyjątkiem potwierdzającym regułę”.


Jeśli ktoś uczyni najprostsze, logiczne tłumaczenie pytania z quizu na bardziej formalny język, który można poddać analizie, wówczas (korzystając z ustawienia wysokości dzieci powyżej) możemy chcieć powiedzieć osobę x ma właściwość TMB if xJest t Aller niż m ost b OYS. Następnie twoje pytanie quizu brzmiało po prostu, czy większość dziewcząt ma właściwość TMB . Jeśli definiuje się, że „większość” oznacza więcej niż połowę , to posiadanie właściwości TMB oznacza, że ​​jest wyższy niż chłopiec o średniej wysokości. Pytanie, czy większość dziewcząt ma właściwość TMB, sprowadza się do pytania, czy mediana dziewczyny ma tę właściwość. Na tym koncie odpowiedź na pytanie quizu brzmiałaby „ tak” .

Z drugiej strony, jeśli faktyczny cel „większości” wynosił „> 50%”, można oczekiwać, że zastosowane zostanie bardziej precyzyjne wyrażenie „większość”. Gdyby ktoś mi powiedział, że coś „prawdopodobnie” się wydarzy, sądzę, że przywołuje się subiektywne prawdopodobieństwo 60% lub więcej. Podobnie „większość” oznacza dla mnie coś więcej niż 70–80%. Oczywiście z powyższego wątku, jeśli „większość” jest traktowana jako kryterium bardziej rygorystyczne niż 52,5%, nie można powiedzieć „większość dziewcząt [ma tę właściwość, że] jest wyższa niż większość chłopców”. Zastanawiam się, czy częścią uzasadnienia pytania quizowego było pobudzenie analizy słów odnoszących się do pojęć liczbowych. (Jeśli uważasz, że to wszystko jest trochę głupie, rozważ te wykresy, pokazując, w jaki sposób ludzie interpretują różne probabilistyczne słowa i wyrażenia.) Być może celem było również podkreślenie, że w różnych rzeczywistych dystrybucjach występuje duża różnorodność i że pojedyncza statystyka (mediana, średnia, co-mają- ty) rzadko popierasz szerokie, obszerne wypowiedzi.

David C. Norris
źródło