Dlaczego podstawowe testowanie hipotez koncentruje się na średniej, a nie na środkowej?

32

Na podstawowych kursach statystyki poniżej stopnia uczniowie (zwykle?) Uczą się testowania hipotez dla średniej populacji.
Dlaczego skupia się na średniej, a nie na środkowej? Domyślam się, że łatwiej jest przetestować średnią ze względu na centralne twierdzenie graniczne, ale chciałbym przeczytać kilka wykształconych wyjaśnień.

nafrtiti
źródło
3
Średnia ma użyteczne właściwości dla unikalności, obliczeń i rachunku różniczkowego. Często wiąże się to z wystarczającymi statystykami.
Henry,

Odpowiedzi:

40

Ponieważ Alan Turing urodził się po Ronaldzie Fisherze.

W dawnych czasach, przed komputerami, wszystkie te rzeczy musiały być wykonywane ręcznie lub, w najlepszym wypadku, za pomocą tak zwanych kalkulatorów. Testy porównawcze średnich można wykonać w ten sposób - jest to pracochłonne, ale możliwe. Testy na kwantyle (takie jak mediana) byłyby prawie niemożliwe do wykonania w ten sposób.

Na przykład regresja kwantylowa polega na zminimalizowaniu stosunkowo skomplikowanej funkcji, co nie byłoby możliwe ręcznie. Jest to możliwe przy programowaniu. Patrz np. Koenker lub Wikipedia .

Regresja kwantylowa ma mniej założeń niż regresja OLS i zapewnia więcej informacji.

Peter Flom - Przywróć Monikę
źródło
6
W tym czasie istniały komputery , ale oznaczały coś zupełnie innego niż to, co mamy na myśli.
Maarten Buis
6
W rzeczy samej! Komputery to ludzie, którzy wykonali obliczenia.
Peter Flom - Przywróć Monikę
2
@nafrtiti Program nauczania zmienia się, ale powoli. Do pokonania jest duży rozmach, a ludzie spoza statystyk nie są przyzwyczajeni do nowych pomysłów, więc mogą je odrzucić.
Peter Flom - Przywróć Monikę
3
@SunQingyao Sortowanie jest znacznie droższe niż dodawanie. Dodawanie to O (n) i jest to jedna z najbardziej podstawowych operacji sprzętowych i wymaga tylko jednego rejestru. Oprócz tego wszystko, co muszę wiedzieć, to suma i liczba pozycji, aby uzyskać więcej danych i obliczyć nową średnią. Aby obliczyć medianę, potrzebuję całego zestawu
JimmyJames
3
Za pomocą opcji szybkiego wyboru (i używając mediany 5, aby wybrać oś przestawną, jeśli losowe wybrane są złe oś), możesz znaleźć kwantyl w O (N), zmniejszając różnicę między medianą a średnią. Oczywiście musisz wiedzieć, że takie metody istnieją (co było nieznane nawet w czasach Turingsa).
Surt
22

Chciałbym dodać trzeci powód do poprawnych powodów podanych przez Harrella i Floma. Powodem jest to, że używamy odległości euklidesowej (lub L2), a nie odległości Manhattanu (lub L1) jako naszej standardowej miary bliskości lub błędu. Jeśli ktoś ma wiele punktów danych i chce jednej liczby aby ją oszacować, oczywistym pojęciem jest znalezienie liczby, która minimalizuje „błąd”, liczba ta tworzy najmniejszą różnicę między wybraną liczbą a liczby, które stanowią dane. W notacji matematycznej dla danej funkcji błędu E chcemy znaleźć . Jeśli weźmie się za E (x, y) normę lub odległość L2, to znaczyx1,xnθminθR(E(θ,x1,xn)=minθR(i=1i=nE(θ,xi))E(x,y)=(xy)2 to minimalizator nad wszystkimi jest średnią. Jeśli weźmiesz odległość L1 lub Manhattan, minimalizator nad wszystkimi jest medianą. Tak więc średnia jest naturalnym wyborem matematycznym - jeśli używa się odległości L2!θRθR

aginensky
źródło
6
Ponieważ jest powszechnie używane do oznaczania oczekiwań , sugeruję zastąpienie , powiedzmy, . EEErr
Richard Hardy,
3
Być może warto zauważyć, że jest różniczkowalna przy podczas gdynie jest. Moim zdaniem jest to subtelny, ale kluczowy powód, dla którego MSE jest bardziej rozpowszechnione na arenie statystyki matematycznej niż MAE. x2x=0|x|
Just_to_Answer
1
@Just_to_Answer - Myślę, że to kolejny powód. Dużo o tym myślałem przez lata. Dla mnie doszedłem do wniosku, że to, co mówisz, jest powiązane z tym, dlaczego generalnie używamy euklidesowej, a nie Manhattanu :)
aginensky
19

Często średnia jest wybierana nad medianą nie dlatego, że jest bardziej reprezentatywna, silna lub znacząca, ale dlatego, że ludzie mylą estymator z estymatorem. Innymi słowy, niektórzy wybierają średnią populacji jako wielkość zainteresowania, ponieważ przy normalnym rozkładzie średnia próbki jest bardziej precyzyjna niż mediana próby. Zamiast tego powinni zastanowić się więcej, tak jak to zrobiliście, na temat prawdziwej ilości zainteresowania.

Jeden pasek boczny: mamy nieparametryczny przedział ufności dla mediany populacji, ale nie ma nieparametrycznej metody (innej niż być może numerycznie intensywna metoda empirycznego prawdopodobieństwa), aby uzyskać przedział ufności dla średniej populacji. Jeśli chcesz pozostać bez dystrybucji, możesz skoncentrować się na medianie.

Zauważ, że twierdzenie o limicie centralnym jest znacznie mniej przydatne, niż się wydaje, jak omówiono w innym miejscu na tej stronie. Skutecznie zakłada, że ​​wariancja jest znana lub że rozkład jest symetryczny i ma taki kształt, że wariancja próbki jest konkurencyjnym estymatorem dyspersji.

Frank Harrell
źródło
2
Wierzę, że możliwe jest skonstruowanie nieparametrycznego przedziału ufności dla średniej - powiedzmy za pomocą testu permutacji (można to zrobić przy założeniu symetrii bez przyjęcia na przykład jakiejkolwiek określonej formy funkcjonalnej). Jest to nieco ograniczona sytuacja, choć jest również możliwa przy innych założeniach niż symetria. Jeśli jesteś przygotowany na poradzenie sobie z przybliżonym zasięgiem, który pojawia się przy ładowaniu, można uzyskać przedziały nieparametryczne bez założeń takich jak symetria.
Glen_b
2
Jeśli zakłada symetrię, jest parametryczna. Nie widziałem tego rozszerzonego na przypadki niesymetryczne. Pasek startowy (wszystkie warianty oprócz być może studenckiej metody t) jest wyjątkowo niedokładny przy silnej asymetrii. Zobacz stats.stackexchange.com/questions/186957
Frank Harrell
5
Symetria nie jest skończona-parametryczna. Podpisany test rang Wilcoxona zakłada symetrię (w celu wymiany znaków) poniżej zera. Nazwałbyś to parametrycznym?
Glen_b
2
Na @Glen_b pytanie o symetrię - to doskonałe pytanie. Test rangowanych znaków Wilcoxona jest interesującym przypadkiem, ponieważ w przeciwieństwie do testu 2-próbkowego WIlcoxon zakłada ciężką symetrię. Wydaje mi się, że można powiedzieć, że możesz być nieparametryczny, a jednocześnie wymagać pewnych ogólnych założeń, takich jak symetria. Może terminologia powinna być „nieparametryczna z ograniczeniami”? Z drugiej strony nieparametryczny test na 2 próbkach ma ograniczenia dotyczące tego, co optymalizuje błąd typu II (ale nie błąd typu I).
Frank Harrell,