Czy powinniśmy uczyć kurtozy na kursie statystyki stosowanej? Jeśli tak to jak?

17

Tendencję centralną, rozprzestrzenianie się i skośność można określić stosunkowo dobrze, przynajmniej intuicyjnie; standardowe matematyczne miary tych rzeczy również stosunkowo dobrze odpowiadają naszym intuicyjnym pojęciom. Ale kurtoza wydaje się inna. Jest to bardzo mylące i nie pasuje do żadnej intuicji dotyczącej kształtu dystrybucji.

Typowym wyjaśnieniem kurtozy w zastosowanym ustawieniu byłby ten wyciąg ze Statystyk stosowanych w biznesie i zarządzaniu za pomocą Microsoft Excel [ 1 ] :[1]

Kurtosis odnosi się do tego, jak szczytowy jest rozkład lub odwrotnie, jak jest płaski. Jeśli w ogonach jest więcej wartości danych, niż można oczekiwać od rozkładu normalnego, kurtoza jest dodatnia. I odwrotnie, jeśli w ogonach jest mniej wartości danych, niż można by oczekiwać w normalnym rozkładzie, kurtoza jest ujemna. Excel nie może obliczyć tej statystyki, chyba że masz co najmniej cztery wartości danych.

Oprócz zamieszania między „kurtozą” a „nadmierną kurtozą” (jak w tej książce, często używa się tego pierwszego słowa w odniesieniu do tego, co inni nazywają drugim), interpretacji w kategoriach „szczytowości” lub „płaskości” jest wtedy zagmatwany przez przestawienie uwagi na to, ile elementów danych znajduje się w ogonach. Biorąc pod uwagę zarówno „szczyt”, jak i „ogony”, konieczne jest - Kaplansky[2]narzekał w 1945 r., że wiele ówczesnych podręczników błędnie twierdziło, że kurtoza ma związek z tym, jak wysoki jest szczyt rozkładu w porównaniu z rozkładem normalnym, bez uwzględnienia ogona. Ale wyraźne uwzględnienie kształtu zarówno na szczycie, jak i na ogonach sprawia, że ​​intuicja jest trudniejsza do zrozumienia, punkt, o którym cytowany powyżej fragment pomija, przechodząc od szczytowości do ciężkości ogonów, jakby te koncepcje były takie same.

Co więcej, to klasyczne wyjaśnienie kurtozy z „piku i ogona” działa dobrze tylko w przypadku rozkładów symetrycznych i nieimodalnych (w rzeczywistości wszystkie przykłady ilustrowane w tym tekście są symetryczne). Jednak „poprawny” ogólny sposób interpretacji kurtozy, czy to w kategoriach „szczytów”, „ogonów” czy „ramion”, jest kwestionowany od dziesięcioleci . [2][3][4][5][6]

Czy istnieje intuicyjny sposób nauczania kurtozy w zastosowanym otoczeniu, który nie uderzy w sprzeczności lub kontrprzykłady, gdy zastosuje się bardziej rygorystyczne podejście? Czy kurtoza jest w ogóle użyteczną koncepcją w kontekście tego rodzaju kursów analizy danych stosowanych, w przeciwieństwie do klas statystyki matematycznej? Jeśli „szczytowość” rozkładu jest intuicyjnie użyteczną koncepcją, czy powinniśmy uczyć go za pomocą chwil L ?[7]

Herkenhoff, L. i Fogli, J. (2013). Statystyka stosowana w biznesie i zarządzaniu za pomocą Microsoft Excel. New York, NY: Springer.[1]

Kaplansky, I. (1945). „Częsty błąd dotyczący kurtozy”. Journal of American Statistics Association,40(230): 259.[2]

Darlington, Richard B (1970). „Czy Kurtosis jest naprawdę„ szczytem ”?”. The American Statistician24(2): 19–22[3]

Moors, JJA. (1986) „Ponownie zbadane znaczenie kurtosis: Darlington”. The American Statistician40(4): 283–284[4]

Balanda, Kevin P. i MacGillivray, HL (1988). „Kurtosis: A Critical Review”. The American Statistician 42(2): 111–119[5]

DeCarlo, LT (1997). „O znaczeniu i zastosowaniu kurtozy”. Metody psychologiczne,2(3), 292. Chicago[6]

Hosking, JRM (1992). „Chwile czy chwile L? Przykład porównujący dwie miary kształtu dystrybucyjnego”. The American Statistician46(3): 186–189[7]

Srebrna Rybka
źródło
2
Co rozumiesz przez zwykłe programy nauczania? Tj. Jaki poziom edukacji.
Gumeo
5
Czego dokładnie uczysz o kurtozie? To pytanie jest dość niejasne. Proszę wypełnić, jak teraz pasuje do twojego programu nauczania, a być może niektóre intuicyjne przykłady ze standardowych środków, z którymi się zgadzasz, są sprzeczne w kurtozie.
Jan
3
Nie sądzę, żeby miara momentu kurtozy była w rzeczywistości pod tym względem znacznie inna niż skośność momentu. W obu przypadkach tak naprawdę nie odzwierciedlają tego, co ludzie myślą, że robią, i oba są mniej intuicyjne niż historie, które ludzie o sobie opowiadają. Dla każdego zaskakującego kontrprzykładu o kurtozie mam inny o skośności. Nie usunęłbym żadnego z nich, ale zmniejszyłem nacisk na miary momentu, przesunąłem je później i zmienię sposób ich uczenia, abyśmy nie połączyli różnych pojęć i nie zgłaszaj roszczenia, które nie wytrzymają.
Glen_b
3
Wyższa skośność nie oznacza cięższego ogona w kierunku skośności. Zero skośności nie oznacza symetrii (wszystkie nieparzyste momenty zero nawet nie oznaczają symetrii). Symetria nie oznacza nawet zerowego skosu. Jakie intuicje pozostały?
Glen_b
3
Oto kolejna odpowiedź z pewną dyskusją, która zawiera interesującą klasę przykładów. Są jeszcze inne, ale teraz ich nie widzę. Przydatne są również niektóre posty Whubera.
Glen_b

Odpowiedzi:

18

Kurtosis jest naprawdę bardzo prosty ... i użyteczny. Jest to po prostu miara wartości odstających lub ogonów. Nie ma to nic wspólnego ze szczytem - należy porzucić tę definicję.

Oto zestaw danych:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Zauważ, że „999” jest wartością odstającą.

Oto wartości ze zbioru danych:z4

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Zauważ, że tylko wartość odstająca daje które jest zauważalnie różne od 0.z4

Średnia z tych wartości to kurtoza rozkładu empirycznego (odejmij 3, jeśli chcesz, to nie ma znaczenia dla punktu, który robię): 18.05z4

Z tego obliczenia powinno być oczywiste, że dane w pobliżu „szczytu” (dane inne niż odstające) prawie nic nie wpływają na statystyki kurtozy.

Kurtoza jest przydatna jako miara wartości odstających. Wartości odstające są ważne dla uczniów szkół podstawowych, dlatego należy uczyć kurtozy. Ale kurtoza nie ma praktycznie nic wspólnego ze szczytem, ​​czy jest spiczasty, płaski, bimodalny czy nieskończony. Możesz mieć wszystkie powyższe z małą kurtozą, a wszystkie powyższe z dużą kurtozą. Dlatego NIGDY nie powinno być przedstawiane jako mające związek ze szczytem, ​​ponieważ będzie to nauczanie niepoprawnych informacji. Sprawia to, że materiał staje się niepotrzebny, mylący i pozornie mniej przydatny.

Streszczenie:

  1. kurtoza jest przydatna jako miara ogonów (wartości odstających).
  2. kurtoza nie ma nic wspólnego ze szczytem.
  3. kurtoza jest praktycznie przydatna i powinna być nauczana, ale tylko jako miara wartości odstających. Nie wspominaj o szczycie podczas nauczania kurtozy.

W tym artykule jasno wyjaśniono, dlaczego definicja „szczytowości” jest teraz oficjalnie martwa.

Westfall, PH (2014). „ Kurtosis as Peakedness, 1905 - 2014. RIPThe American Statistician , 68 (3), 191–195.

Peter Westfall
źródło
4
Witamy w CV, mam nadzieję, że pozostaniesz i wniesiesz więcej w przyszłości! Zredagowałem twój post, aby zamieścić link do artykułu i sformatowałem niektóre zapisy matematyczne, mam nadzieję, że nie masz nic przeciwko. (Umieszczając matematykę w$ np $z^4$., Można użyć )LATEX
Silverfish,
6

Chociaż pytanie jest nieco niejasne, jest interesujące. Na jakich poziomach uczy się kurtozy? Pamiętam, że wspomniano o tym na kursie magisterskim z modeli liniowych (dawno temu, na podstawie pierwszego wydania książki Sebera). Nie był to ważny temat, ale wchodzi w takie tematy, jak badanie (brak) niezawodności testu ilorazu prawdopodobieństwa (test F) równości wariancji, gdzie (z pamięci) prawidłowy poziom asymptotycznie zależy od posiadania tej samej kurtozy co rozkład normalny, który to zbyt wiele, aby założyć! Widzieliśmy artykuł (ale nigdy nie czytałem go ze szczegółami) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents autorstwa Oja, który próbuje dowiedzieć się, jaki skośność, kurtozę i takie naprawdę mierzy.

Dlaczego uważam to za interesujące? Ponieważ uczę w Ameryce Łacińskiej, gdzie wydaje się, że skośność i kurtoza są nauczane przez wielu jako ważne tematy, i próbuję powiedzieć studentom podyplomowym (wielu z ekonomii), że kurtoza jest złym miernikiem formy dystrybucji (głównie ponieważ zmienność próbkowania czwartej potęgi jest po prostu zbyt duża), było trudne. Próbowałem zmusić ich do korzystania z QQplots. Tak więc, dla niektórych komentujących, tak, to jest to nauczane , prawdopodobnie za dużo!

Nawiasem mówiąc, to nie tylko moja opinia. Poniższy post na blogu https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics zawiera ten cytat (przypisany dr. Wheelerowi):

Krótko mówiąc, skośność i kurtoza są praktycznie bezwartościowe. Shewhart dokonał tej obserwacji w swojej pierwszej książce. Statystyki skośności i kurtozy po prostu nie dostarczają żadnych użytecznych informacji poza tymi podanymi już przez miary lokalizacji i dyspersji.

Powinniśmy uczyć lepszych technik studiowania form dystrybucji! takie jak QQplots (lub wykresy względnego rozkładu). A jeśli ktoś nadal potrzebuje miar numerycznych, lepsze są pomiary oparte na momentach L. Zacytuję jeden fragment z artykułu JR Statist Soc B (1990) 52, nr 1, s. 105--124 autorstwa JRM Hoskinga: „Momenty L: analiza i oszacowanie rozkładu przy użyciu liniowej kombinacji statystyk zamówień”, strona 109:

λ1λ2μ(F)12σ1(F)τ3τ4

(W tej chwili odnoszę się do definicji tych miar, wszystkie oparte są na momentach L.) Ciekawe jest to, że tradycyjna miara kurtozy oparta na czwartych momentach nie jest miarą kurtozy w sensie Oja! (Będę edytować odniesienia do tego roszczenia, kiedy będę mógł je znaleźć).

kjetil b halvorsen
źródło
1
Nie ma problemu ze stosowaniem graficznych i innych technik do zrozumienia właściwości dystrybucyjnych, ale stwierdzenie, że „skośność i kurtoza są praktycznie bezwartościowe” jest hiperbolą. Oba mają świetny wpływ na wszelkiego rodzaju wnioskowanie statystyczne.
Peter Westfall,
@ Peter W tym stwierdzeniu prawdopodobnie oznaczało to „kurtozę empiryczną”.
kjetil b halvorsen
1
Mimo to empiryczna kurtoza informuje Cię, gdy masz nietypowy problem z danymi. Nadal uważam, że komentarz „skośność i kurtoza są praktycznie bezwartościowe” to hiperbola. Pewnie, mogą nie być świetnymi szacunkami parametrów „populacji”, szczególnie przy mniejszych rozmiarach próby, ale „praktycznie bezwartościowe” to odcinek. Nawet jeśli nie oceniają szczególnie dobrze parametrów populacji, nadal dostarczają użytecznych informacji opisowych na temat istniejącego zestawu danych. Informacje, które oczywiście powinny być uzupełnione widokami graficznymi, takimi jak wykresy qq.
Peter Westfall,
@Peter Westfall: Rzeczywiste pytanie może być, jeśli empiryczna kurtoza jest najlepszym sposobem na wykrycie nietypowych problemów, czy też jest coś lepszego?
kjetil b halvorsen
Empiryczna kurtoza mierzy charakter odstający zbioru danych, a nie poszczególne wartości odstające. Nie posunąłbym się nawet do stwierdzenia, że ​​kurtoza = 3 (jak normalnie) oznacza „brak wartości odstających”, ale powiedziałbym, że taki przypadek oznacza, że ​​znak wartości odstającej (mierzony średnią wartością z, każda wzięta do czwartej moc) jest podobny do rozkładu normalnego. Z drugiej strony ogromna kurtoza z pewnością wskazuje na problem odstający. Tak, normalne wykresy qq są lepsze dla bardziej wyrafinowanej diagnozy. BTW, normalny wykres qq i nadmiar kurtozy mają ścisły związek matematyczny.
Peter Westfall,
3

Moim zdaniem współczynnik skośności jest przydatny do motywowania terminów: dodatnio i ujemnie. Ale na tym się kończy, jeśli twoim celem jest ocena normalności. Klasyczne miary skośności i kurtozy często nie wychwytują różnego rodzaju odchyleń od normalności. Zwykle zalecam moim studentom stosowanie technik graficznych w celu oceny zasadności oceny normalności, takich jak wykres qq lub normalny wykres prawdopodobieństwa. Również przy odpowiednio dobranej próbce można zastosować histogram. Wykresy pudełkowe są również przydatne do identyfikowania wartości odstających, a nawet ciężkich ogonów.

Jest to zgodne z zaleceniami grupy zadaniowej APA z 1999 r .:

Założenia. Należy podjąć wysiłki, aby upewnić się, że podstawowe założenia wymagane do analizy są uzasadnione, biorąc pod uwagę dane. Dokładnie sprawdź pozostałości. Nie używaj testów dystrybucyjnych i statystycznych wskaźników kształtu (np. Skośności, kurtozy) jako zamiennika graficznego badania twoich reszt. Zastosowanie testu statystycznego do diagnozowania problemów z dopasowaniem modelu ma kilka wad. Po pierwsze, diagnostyczne testy istotności oparte na statystyce podsumowującej (takie jak testy jednorodności wariancji) są często niepraktycznie wrażliwe; nasze testy statystyczne modeli są często bardziej niezawodne niż nasze testy statystyczne założeń. Po drugie, statystyki takie jak skośność i kurtoza często nie wykrywają nieregularności dystrybucji reszt. Po trzecie, testy statystyczne zależą od wielkości próby, a wraz ze wzrostem wielkości próby, testy często odrzucają niewinne założenia. Ogólnie rzecz biorąc, nic nie zastąpi graficznej analizy założeń.

Odniesienia: Wilkinson, L. i grupa zadaniowa ds. Wnioskowania statystycznego. (1999). Metody statystyczne w czasopismach psychologicznych: wytyczne i objaśnienia. American Psychologist, 54, 594-604.

G. Lamothe
źródło
1

W zależności od zastosowanego kursu może pojawić się pytanie o dokładność szacunków. Dokładność oszacowania wariancji silnie zależy od kurtozy. Dzieje się tak dlatego, że przy wysokiej kurtozie rozkład pozwala na rzadkie, ekstremalnie potencjalnie obserwowalne dane. W ten sposób proces generowania danych wytworzy bardzo ekstremalne wartości w niektórych próbkach, a nie tak ekstremalne wartości w innych. W pierwszym przypadku otrzymasz oszacowanie bardzo dużej wariancji, a w drugim oszacowanie małej wariancji.

Gdyby wyeliminowano przestarzałą i niepoprawną interpretację „szczytowości”, a zamiast tego skupiono się wyłącznie na wartościach odstających (tj. Rzadkich, ekstremalnych obserwowalnych), łatwiej byłoby nauczyć kurtozę na kursach wprowadzających. Ale ludzie skręcają się w węzły, próbując usprawiedliwić „szczytowość”, ponieważ (niepoprawnie) tak jest w swoich podręcznikach i brakuje im prawdziwych zastosowań kurtozy. Aplikacje te dotyczą głównie wartości odstających i oczywiście wartości odstające są ważne w kursach statystyki stosowanej.

Peter Westfall
źródło
1
Czy jesteś tym samym Peterem Westfallem, który jest autorem najbardziej pozytywnej odpowiedzi w tym wątku? Jeśli tak, możesz połączyć swoje profile, a następnie bezpośrednio edytować starą odpowiedź zamiast publikować inną.
ameba mówi Przywróć Monikę
1
Tak, przepraszam za brak netykiety.
Peter Westfall,
-1

Kurt[X]=E[(Xμσ)4]=μ4σ4=E[(Xμ)4](E[(Xμ)2])2,

1ni=1nμ,σ2,μ4μσ2 przejrzystość.

Aksakal
źródło
1
Problem polega na tym, że po wystąpieniu kurtozy jest to bardzo nieintuicyjne, co to znaczy (jeśli w ogóle). Nie pasuje do użytecznych cech dystrybucji.
Peter Flom - Przywróć Monikę
Tak, kurtoza pasuje do bardzo przydatnej jakości rozkładu - jest to miara wagi ogonowej (wartości odstające). Wspierające twierdzenia matematyczne, dla których nie ma kontrprzykładu: (i) kurtoza znajduje się między E (Z ^ 4 * I (| Z |> 1)) a E (Z ^ 4 * I (| Z |> 1)) + 1 , dla wszystkich rozkładów mających skończony 4. moment. (ii) dla podklasy ciągłych rozkładów, w których gęstość Z ^ 2 maleje w (0,1), kurtoza mieści się między E (Z ^ 4 * I (| Z |> 1)) a E (Z ^ 4 * I (| Z |> 1)) + .5 i (iii) dla dowolnej sekwencji rozkładów z kurtozą zmierzającą do nieskończoności, E (Z ^ 4 * I (| Z |> b)) / kurtosis -> 1, dla każdy prawdziwy b.
Peter Westfall,