Obliczanie 95. percentyla: porównanie podejść do rozkładu normalnego, R Quantile i Excela

Próbowałem obliczyć 95 percentyl na podstawie następującego zestawu danych. Natknąłem się na kilka internetowych odniesień do robienia tego.

Podejście 1: na podstawie danych przykładowych

Pierwszy mówi mi, w celu otrzymania TOP 95 Percentzbioru danych, a następnie wybierz MINlub AVGotrzymanego zestawu. Robienie tego dla następującego zestawu danych daje mi:

AVG: 29162
MIN: 0

Podejście 2: Załóż normalny rozkład

Drugi mówi, że percentyla 95-ci jest około dwa odchylenia standardowe powyżej średniej (co rozumiem) i wykonano:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

Podejście 3: R Kwantyl

Kiedyś Ruzyskiwałem 95. percentyl:

> quantile(data$V1, 0.95)
79515.2

Podejście 4: Podejście Excela

Wreszcie natknąłem się na ten , który wyjaśnia, jak to robi Excel. Podsumowanie metody jest następujące:

Biorąc pod uwagę zestaw Nuporządkowanych wartości {v[1], v[2], ...}i wymóg obliczenia pthpercentyla, wykonaj następujące czynności:

Oblicz l = p(N-1) + 1
Rozdzielać l na liczby całkowite i dziesiętne, tjl = k + d
Oblicz wymaganą wartość jako V = v[k] + d(v[k+1] - v[k])

Ta metoda daje mi 79515.2

Żadna z wartości się nie zgadza, choć ufam, że wartość R jest poprawna (zaobserwowałem to również z wykresu ecdf). Moim celem jest ręczne obliczenie 95. percentyla (przy użyciu tylko AVGi STDEVfunkcji) z danego zestawu danych i nie jestem pewien, co się tutaj dzieje. Czy ktoś może mi powiedzieć, gdzie popełniam błąd?

r dataset quantiles sql Legenda
źródło

Twoje pierwsze podejście musi zostać przepisane: może to być „weź 5% górnych wartości i znajdź ich minimum”, w tym przypadku 79586, lub „weź dolne 95% i znajdź ich maksimum”, w tym przypadku 79535.

Henry

Oto kilka punktów, które należy uzupełnić odpowiedź @ mark999.

Wikipedia ma artykuł o percentylach którym zauważono, że nie istnieje standardowa definicja percentyla. Omówiono jednak kilka formuł.
Crawford, J .; Garthwaite, P. & Slick, D. O normach centylowych w neuropsychologii: Proponowane standardy raportowania i metody kwantyfikacji niepewności w odniesieniu do stopni percentyla wyników testów Neuropsycholog kliniczny, Psychology Press, 2009, 23, 1173-1195 ( DARMOWY PDF ) omawia obliczanie percentyli w kontekście normalizacji psychologii.

Poniżej opisano kilka rzeczy w języku R:

Pobierz dane i sprawdź funkcję kwantyli R.

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) pokazuje, że R ma dziewięć różnych algorytmów szacowania kwantyli.
Drugie wyjście pokazuje wartość szacunkową dla 9 algorytmów i proporcję danych, która jest mniejsza lub równa wartości szacunkowej (tj. Wszystkie wartości są zbliżone do 95%).

Porównaj z założeniem rozkładu normalnego

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

Bardzo różna wartość jest szacowana dla 95. percentyla rozkładu normalnego na podstawie średniej próbki i odchylenia standardowego.
Szacowana wartość to około 84. percentyl przykładowych danych.
Poniższy wykres pokazuje, że dane wyraźnie nie są normalnie rozłożone, a zatem szacunki oparte na założeniu normalności będą bardzo odległe.

wykres (gęstość (x))

wprowadź opis zdjęcia tutaj

Jeromy Anglim
źródło

udzielił bardzo miłej odpowiedzi. Dodałbym tylko, że wydaje mi się, że w większości przypadków różnice między 9 szacunkami są tak małe, że mają niewielkie znaczenie.

Peter Flom - Przywróć Monikę

Artykuł w Wikipedii na temat kwantyli jest lepszy niż ten na percentylach

Henry

Coś tu jest nie tak, ponieważ R powinno podawać liczby od 75500 do 75600. Czy niektóre z 1345 wartości się zgubiły?

Henry

@Henry dzięki za to. Próbując zminimalizować liczbę linii wyświetlanych dla danych wejściowych w pytaniu, umieściłem polecenie c (...) tylko w kilku liniach. W rezultacie wydaje mi się, że natrafiłem na jakąś formę ograniczenia długości wiersza poleceń, która odcinała część danych. Nigdy wcześniej nie widziałem tego problemu, ponieważ zwykle takie dane miałem w osobnym pliku. Zaktualizowałem skrypt i dane wyjściowe, aby polecenie c (...) obejmowało teraz 120 wierszy; patrz gist gist.github.com/1102127

Anglim

+1 Dziękujemy za dodatkowe informacje. Właśnie kiedy to napisałeś, z ciekawości spojrzałem na dystrybucję za pomocą wykresu QQ i doszedłem do tego samego wniosku. Dziękuję za Twój czas.

Legend

Obliczanie 95. percentyla: porównanie podejść do rozkładu normalnego, R Quantile i Excela

Podejście 1: na podstawie danych przykładowych

Podejście 2: Załóż normalny rozkład

Podejście 3: R Kwantyl

Podejście 4: Podejście Excela

Odpowiedzi:

Pobierz dane i sprawdź funkcję kwantyli R.

Porównaj z założeniem rozkładu normalnego