Który ma cięższy ogon, lognormalny lub gamma?

41

(Jest to oparte na pytaniu, które właśnie do mnie dotarło za pośrednictwem poczty elektronicznej; dodałem kontekst z poprzedniej krótkiej rozmowy z tą samą osobą).

W zeszłym roku powiedziano mi, że rozkład gamma jest cięższy od logarytmicznego, i od tego czasu powiedziano mi, że tak nie jest.

  • Który jest grubszy?

  • Jakie zasoby mogę wykorzystać do zbadania relacji?

Glen_b
źródło
3
Do osoby, która właśnie przegłosowała: Przydałoby się wiedzieć, jaki jest postrzegany problem z pytaniem.
Glen_b
1
To nie byłem ja, głosowałem dawno temu. Podejrzewam jednak, że chodziło o użyteczność ogona ciężkiego w porównaniu z kurtozą w kontekście założeń testowania t w obecności wartości odstających, co absolutnie nie ma nic wspólnego z tym, o co prosiłeś. Głosowanie w dół jest, według IMHO, problematyczne .
Carl

Odpowiedzi:

41

(Prawy) ogon rozkładu opisuje jego zachowanie przy dużych wartościach. Prawidłowe obiekt do badania nie jest jego gęstość - co w wielu praktycznych przypadkach nie istnieje - ale raczej jej funkcja rozkładu . Mówiąc dokładniej, ponieważ musi wzrastać asymptotycznie do dla dużych argumentów (według Prawa Całkowitego Prawdopodobieństwa), interesuje nas, jak szybko zbliża się on do tej asymptoty: musimy zbadać zachowanie jej funkcji przeżycia jako .F 1 x 1 - F ( x ) x FF1x 1F(x)x

W szczególności, jeden rozkład o zmiennej losowej jest „cięższe” od innego , pod warunkiem że w końcu ma większą szansę na duże wartości niż . To mogą być zawarte: musi istnieć skończoną numer , że dla wszystkich ,FXG FGx0x>x0

PrF(X>x)=1F(x)>1G(x)=PrG(X>x).

Postać

Czerwona krzywa na tej figurze jest funkcją przeżycia dla rozkładu Poissona . Niebieska krzywa jest dla rozkładu Gamma , który ma tę samą wariancję. W końcu niebieska krzywa zawsze przekracza czerwoną krzywą, co pokazuje, że ten rozkład gamma ma cięższy ogon niż ten rozkład Poissona. Rozkładów tych nie można łatwo porównać za pomocą gęstości, ponieważ rozkład Poissona nie ma gęstości.(3)(3)

Prawdą jest, że gdy gęstość i istnieją i dla czym jest cięższy niż rozkładem . Jednak odwrotność jest fałszywa - i jest to istotny powód, aby oprzeć definicję ciężkości ogona na funkcjach przeżycia zamiast na gęstościach, nawet jeśli często analizę ogonów można łatwiej przeprowadzić za pomocą gęstości.fgf(x)>g(x)x>x0FG

Kontrprzykłady można konstruować, przyjmując dyskretny rozkład dodatniego, niezwiązanego wsparcia, który jednak nie jest cięższy niż (dyskretyzacja załatwi sprawę). Przekształć to w rozkład ciągły, zastępując masę prawdopodobieństwa w każdym z jego punktów podparcia , zapisaną , przez (powiedzmy) skalowany rozkład Beta z podparciem w odpowiednim przedziale i ważone przez . Biorąc pod uwagę małą liczbę dodatnią wybierzHGGHkh(k)(2,2)[kε(k),k+ε(k)]h(k)δ,ε(k)wystarczająco mały, aby zapewnić, że gęstość pików tego skalowanego rozkładu Beta przekracza . Z konstrukcji mieszanina jest ciągłym rozkładem której ogon wygląda podobnie jak (równomiernie jest nieco niższy o wartość ), ale ma spiki gęstość na podporze a wszystkie te kolce mają punkty, w których przekraczają gęstość . Zatem jest lżejszy niż rozkładem , ale bez względu na to, jak daleko w ogonie idziemy tam, gdzie będą punkty jego gęstość przekracza wartość .f(k)/δδH+(1δ)GGGδHfGFF

Postać

Czerwona krzywa jest PDF rozkładu gamma , złota krzywa jest PDF logarytmicznego rozkładu , a niebieska krzywa (z pikami) to PDF mieszanki skonstruowanej jak w kontrprzykładzie. (Zwróć uwagę na logarytmiczną oś gęstości.) Funkcja przeżycia jest zbliżona do rozkładu gamma (z szybko opadającymi wiggami): w końcu wzrośnie ona mniej niż , nawet jeśli jej PDF zawsze będzie wzrastał powyżej tego od nieważne jak daleko do ogonów patrzymy.GFGGFF


Dyskusja

Nawiasem mówiąc, możemy przeprowadzić tę analizę bezpośrednio na funkcjach przeżycia rozkładów logarytmicznych i gamma, rozszerzając je wokół aby znaleźć ich zachowanie asymptotyczne i stwierdzić, że wszystkie lognormale mają cięższe ogony niż wszystkie gamma. Ponieważ jednak rozkłady te mają „ładne” gęstości, analizę łatwiej przeprowadzić, pokazując, że dla wystarczająco dużego gęstość logarytmiczna przekracza gęstość gamma. Nie pomylmy jednak tej analitycznej wygody ze znaczeniem ciężkiego ogona.x=x

Podobnie, chociaż wyższe momenty i ich warianty (takie jak skośność i kurtoza) mówią trochę o ogonach, nie dostarczają wystarczających informacji. Jako prosty przykład możemy obciąć dowolny logarytmiczny rozkład przy tak dużej wartości, że dowolna liczba jego momentów prawie się nie zmieni - ale w ten sposób całkowicie usuniemy jego ogon, czyniąc go lżejszym niż jakikolwiek rozkład z nieograniczonym wsparcie (takie jak gamma).

Sprawiedliwym sprzeciwem wobec tych matematycznych wypaczeń byłoby wskazanie, że zachowanie tak daleko w ogonie nie ma praktycznego zastosowania, ponieważ nikt nigdy nie uwierzyłby, że jakikolwiek model dystrybucyjny będzie obowiązywał przy tak ekstremalnych (być może nieosiągalnych fizycznie) wartościach. To pokazuje jednak, że w aplikacjach powinniśmy starać się ustalić, która część ogona jest istotna i odpowiednio ją przeanalizować. (Czasy nawrotów powodzi można na przykład rozumieć w ten sposób: powodzie 10-letnie, powodzie 100-letnie i powodzie 1000-letnie charakteryzują poszczególne odcinki ogona rozkładu powodzi.) Obowiązują jednak te same zasady: podstawowym przedmiotem analizy jest tutaj funkcja rozkładu, a nie jej gęstość.

Whuber
źródło
6
+1 doskonała dyskusja, dlaczego powinna opierać się na funkcji ocalałego. Poleciłem oryginalnemu źródłu pytania, aby spojrzeli na twoją odpowiedź.
Glen_b
1
(+1) za dobrą probabilistyczną dyskusję na temat interpretacji funkcji przeżycia.
Ta definicja ciężkich ogonów jest dobra, jako jedna definicja. Ale ma poważne problemy. W szczególności istnieją ograniczone rozkłady, które prawdopodobnie mają ciężkie ogony, takie jak rozkład .9999 * U (-1,1) + .0001 * U (-1000,1000). Według podanej „definicji” rozkład N (0,1) ma cięższe ogony niż rozkład 0,9999 * U (-1,1) + .0001 * U (-1000,1000). To oczywiście głupie. Spójrzmy prawdzie w oczy: istnieje nieskończenie wiele sposobów pomiaru dokładności dystrybucji.
Peter Westfall,
1
@Peter „Głupota” powstaje, ponieważ wydaje się, że masz pomysł na odwrót. Żaden z twoich przykładów nie ma w żadnym sensie „ciężkiego” ogona, ponieważ są one ograniczone. Obie funkcje przeżycia ostatecznie są dokładnie zerowe, a zatem oba ogony są jednakowo lekkie.
whuber
1
@PeterWestfall Porównywałeś ogony mające ograniczone wsparcie z tymi, które mają nieskończone wsparcie, jakby to miało sens. Istnieje wiele kontekstów, w których byłoby to niepotrzebne, nawet głupie. W tych kontekstach, w których można by je porównać, odpowiedni może być stosunek różnicy kwantowej. Nie ma zbyt wielu kontekstów poza tymi i jeśli możesz o tym pomyśleć, powiedz.
Carl
30

Zarówno gamma, jak i logarytmiczne są prawymi krzywymi, stałymi współczynnikami zmienności na i często są podstawą „konkurujących” modeli dla określonych rodzajów zjawisk.(0,)

Istnieją różne sposoby określania ciężkości ogona, ale w tym przypadku myślę, że wszystkie zwykłe pokazują, że logarytm jest cięższy. (Pierwsza osoba mogła mówić o tym, co dzieje się nie w dalekim ogonie, ale trochę na prawo od trybu (powiedzmy, około 75. percentyla na pierwszym wykresie poniżej, który dla logarytmu jest nieco poniżej 5 i gamma nieco powyżej 5.)

Jednak zbadajmy to pytanie w bardzo prosty sposób, aby rozpocząć.

Poniżej znajdują się gęstości gamma i lognormalne ze średnią 4 i wariancją 4 (wykres górny - gamma jest ciemnozielony, lognormal jest niebieski), a następnie log gęstości (na dole), dzięki czemu można porównać trendy w ogonach:

wprowadź opis zdjęcia tutaj

Trudno zobaczyć wiele szczegółów na górnym wykresie, ponieważ cała akcja jest po prawej stronie 10. Ale jest całkiem jasne na drugim wątku, w którym gamma zmierza znacznie szybciej niż lognormal.

Innym sposobem na zbadanie związku jest spojrzenie na gęstość kłód, jak w odpowiedzi tutaj ; widzimy, że gęstość logów dla lognormal jest symetryczna (to normalne!), a dla gamma jest ukośne w lewo, z lekkim ogonem po prawej.

Możemy to zrobić algebraicznie, gdzie możemy spojrzeć na stosunek gęstości jako (lub log tego stosunku). Niech mieć gęstość gamma logarytmicznie:xgf

log(g(x)/f(x))=log(g(x))log(f(x))

=log(1Γ(α)βαxα1ex/β)log(12πσxe(log(x)μ)22σ2)

=k1(α1)log(x)x/β(k2log(x)(log(x)μ)22σ2)

=[c(α2)log(x)+(log(x)μ)22σ2]x/β

Termin w [] jest kwadratowy w , podczas gdy pozostały termin zmniejsza się liniowo w . Bez względu na to, ostatecznie spadnie szybciej niż wzrost kwadratowy, niezależnie od wartości parametrów . W granicy jako logarytm stosunku gęstości maleje w kierunku , co oznacza, że ​​gamma pdf jest ostatecznie znacznie mniejszy niż lognormalny pdf i względnie maleje. Jeśli weźmiesz stosunek w drugą stronę (z lognormal na górze), w końcu musi on wzrosnąć poza jakąkolwiek granicę.log(x)xx/βx

Oznacza to, że każda lognormalność jest ostatecznie cięższa niż każda gamma.


Inne definicje ciężkości:

Niektórzy ludzie są zainteresowani skośnością lub kurtozą w celu zmierzenia ciężkości prawego ogona. Przy danym współczynniku zmienności lognormal jest zarówno bardziej przekrzywiony, jak i ma wyższą kurtozę niż gamma . **

Na przykład przy skośności gamma ma skośność równą 2 CV, podczas gdy logarytm normalny wynosi CV + CV .3

Istnieją pewne definicje techniczne różnych środków, jak ciężkie ogony są tutaj . Możesz wypróbować niektóre z tych dwóch dystrybucji. Lognormal jest interesującym szczególnym przypadkiem w pierwszej definicji - wszystkie jego momenty istnieją, ale jego MGF nie zbiegają się powyżej 0, podczas gdy MGF dla Gammy zbiegają się w okolicy około zera.

-

** Jak wspomina Nick Cox poniżej, zwykła transformacja w celu przybliżenia normalności gamma, transformacja Wilsona-Hilferty'ego, jest słabsza niż log - jest to transformacja pierwiastka sześcianu. Przy małych wartościach parametru kształtu wymieniono czwarty pierwiastek, patrz dyskusja w tej odpowiedzi , ale w obu przypadkach jest to słabsza transformacja w celu osiągnięcia prawie normalności.

Porównanie skośności (lub kurtozy) nie sugeruje żadnego niezbędnego związku w skrajnym ogonie - zamiast tego mówi nam coś o przeciętnym zachowaniu; ale z tego powodu może działać lepiej, jeśli pierwotny punkt nie był robiony na temat skrajnego ogona.


Zasoby : Łatwo jest korzystać z programów takich jak R, Minitab, Matlab lub Excel lub cokolwiek lubisz rysować gęstości i log-gęstości oraz logi współczynników gęstości ... i tak dalej, aby zobaczyć, jak się sprawy mają w poszczególnych przypadkach. Od tego chciałbym zacząć.

Glen_b
źródło
4
Rzeczywiście sugeruje to, ale nie ma koniecznego związku między szczytem, ​​ogonem i kurtozą; istnieją takie kontrprzykłady do takich oczekiwań, więc musimy się wystrzegać. Drugi spisek potwierdza jednak podejrzenie.
Glen_b
5
Oto jedna linijka. Jest to definicja, że ​​transformacja logu jest potrzebna, aby lognormal normal był; dobrym przybliżeniem jest to, że pierwiastek sześcianu powoduje, że gamma jest normalna (Wilson-Hilferty to dwa słowa dla mądrych); rozkład wymagający silniejszej transformacji jest „dalszy” od normalnego lub gaussowskiego.
Nick Cox
2
@Glen_b Właśnie dodałem drobną ozdobę do twojego bardzo ładnego ciasta.
Nick Cox
2
@Nick Cox Nie zgadzam się z oświadczeniami o przekształceniach. Matematycznie nieuzasadniona część jest wnioskiem, który próbujesz wyciągnąć: z faktu, że logarytm powoduje, że logarytm normalny jest normalny, a pierwiastek sześcianu powoduje, że gamma jest w przybliżeniu normalna, nie można wyciągać żadnych wniosków na temat ogonów żadnego z nich.
whuber
2
Dzięki; twój punkt widzenia jest dla mnie jaśniejszy, ale trzymam się mojej „ogólnej zasady” i przywołuję również doświadczenie. Oczywiście nie mam twierdzenia.
Nick Cox
7

Chociaż kurtoza jest związana z ciężkością ogonów, w większym stopniu przyczyniłaby się do pojęcia rozkładu ogonów tłuszczowych , a relatywnie mniej do samej ciężkości ogona, jak pokazuje poniższy przykład. W tym miejscu zwracam uwagę na to, czego się nauczyłem we wpisach powyżej i poniżej, które są naprawdę doskonałymi komentarzami. Po pierwsze, obszar prawego ogona jest obszar od x z funkcji gęstości, znanego jako funkcja przeżycia . Dla rozkładu logarytmicznego i rozkład gammaf(x)1F(t)e(log(x)μ)22σ22πσx;x0βαxα1eβxΓ(α);x0, porównajmy odpowiednie funkcje przetrwania i graficznie. Aby to zrobić, dowolnie ustawiam odpowiednie wariancje i , a także odpowiadający im nadmiar kurtoz i równa się wybierając i rozwiązana dla . To pokazuje12erfc(log(x)μ2σ)Q(α,βx)=Γ(α,βx)Γ(α)(eσ21)e2μ+σ2αβ23e2σ2+2e3σ2+e4σ266αμ=0,σ=0.8α0.19128,β0.3354211-F (x) dla LND w kolorze niebieskim i GD w kolorze pomarańczowym

funkcja przeżycia dla rozkładu logarytmicznego (LND) w kolorze niebieskim i rozkładu gamma (GD) w kolorze pomarańczowym. To prowadzi nas do naszej pierwszej ostrożności. To znaczy, gdybyśmy tylko zbadali ten spisek, moglibyśmy dojść do wniosku, że ogon dla GD jest cięższy niż dla LND. To, że tak nie jest, jest pokazane poprzez rozszerzenie wartości osi x wykresu 1-F (x) dla dłuższego wykresu LND i GD

Ta fabuła pokazuje, że 1) nawet przy równych kurtozach prawe obszary ogona LND i GD mogą się różnić. 2) Sama interpretacja graficzna ma swoje niebezpieczeństwa, ponieważ może wyświetlać wyniki tylko dla stałych wartości parametrów w ograniczonym zakresie. Istnieje zatem potrzeba znalezienia ogólnych wyrażeń dla ograniczającego współczynnika funkcji przeżycia wynoszącego . Nie mogłem tego zrobić z nieskończonymi rozszerzeniami serii. Byłem jednak w stanie to zrobić, używając pośredników funkcji terminalnych lub asymptotycznych, które nie są funkcjami unikalnymi i gdzie dla ogonów prawej ręki to jest wystarczające dla ilimxS(LND,x)S(GD,x)limxF(x)G(x)=1F(x)G(x)być wzajemnie asymptotycznym. Przy odpowiedniej staranności w znalezieniu tych funkcji może to potencjalnie zidentyfikować podzbiór funkcji prostszych niż same funkcje przeżycia, które mogą być wspólne lub utrzymywane wspólnie z więcej niż jedną funkcją gęstości, na przykład dwie różne funkcje gęstości mogą się dzielić ograniczający wykładniczy ogon. W poprzedniej wersji tego postu nazywałem to „dodatkową złożonością porównywania funkcji przeżycia”. Zauważ, że i (Nawiasem mówiąc i niekoniecznie ilimuerfc(u)eu2πu=1limuΓ(α,u)euuα1=1erfc(u)<eu2πuΓ(α,u)<euuα1 . Oznacza to, że nie trzeba wybierać górnej granicy, tylko funkcję asymptotyczną). Tutaj piszemy i gdzie stosunek terminów prawej ręki ma taki sam limit jak jak określa lewa ręka. Uproszczenie ograniczającego stosunku zwrotów po prawej stronie12erfc(log(x)μ2σ)<e(log(x)μ2σ)22(π(log(x)μ))2σΓ(α,βx)Γ(α)<eβx(βx)α1Γ(α)xlimxσΓ(α)(βx)1αeβx(μlog(x))22σ22π(log(x)μ)= co oznacza, że ​​dla x odpowiednio dużej powierzchni ogona LND wynosi tak duży, jak nam się podoba w porównaniu do obszaru ogona GD, niezależnie od wartości parametrów. To powoduje kolejny problem, nie zawsze mamy rozwiązania, które są prawdziwe dla wszystkich wartości parametrów, dlatego stosowanie samych ilustracji graficznych może wprowadzać w błąd. Na przykład, obszar ogona rozkładu gamma jest większy niż obszar ogona rozkładu wykładniczego, gdy , mniej niż wykładniczy, gdy a GD jest dokładnie rozkładem wykładniczym, gdy .α<1α>1α=1

Jaki jest zatem pożytek z przyjmowania logarytmów stosunku funkcji przeżycia, skoro oczywiście nie musimy brać logarytmów w celu znalezienia ograniczenia? Wiele funkcji rozkładu zawiera wyrażenia wykładnicze, które wyglądają na łatwiejsze, gdy logarytm jest brany, a jeśli stosunek idzie do nieskończoności w limicie wraz ze wzrostem x, to logarytm też to zrobi. W naszym przypadku pozwoliłoby nam to sprawdzić , na które niektórzy ludzie uznaliby łatwiej. Na koniec, jeśli stosunek funkcji przeżycia osiągnie zero, to logarytm tego stosunku pójdzie dolimx(log(σΓ(α)(βx)1α2π(log(x)μ))+βx(μlog(x))22σ2)=, i we wszystkich przypadkach po znalezieniu granicy logarytmu stosunku, musimy wziąć antylogarytm tej wartości, aby zrozumieć jej związek z wartością graniczną zwykłego stosunku funkcji przeżycia.

Carl
źródło
2
W tym przypadku (i często w interesujących przypadkach) wyższa kurtoza odpowiada cięższemu ogonowi, ale jako ogólna propozycja tak nie jest - kontrprzykłady są łatwe do skonstruowania.
Glen_b
1
1. Nie znam żadnego ogólnego sposobu bezpośredniego porównania ogonów. 2. Co jest bardziej skomplikowane? odpowiedź Whubera pokazuje nam, dlaczego istnieje problem z patrzeniem na cokolwiek poza funkcją przeżycia (dla prawego ogona); dyskutuje, dlaczego nie można szczegółowo porównywać plików pdf, ale podobne punkty przenoszą się na kurtozę. Ponadto porównanie jest często znacznie mniej skomplikowane niż porównanie kurtozy. (W lewym ogonie porównywałbyś bezpośrednio ale to nie było problemem dla tego pytania.)S(x)=1F(x)F(x)
Glen_b
2
Zauważam również, że mówicie: „To ma coś wspólnego z twierdzeniem o chwilach, które mówi, że jeśli (wszystkie?) Momenty dwóch rozkładów są równe, wówczas rozkłady są identyczne”. - nawet jeśli wszystkie momenty dwóch rozkładów są równe, rozkłady niekoniecznie są identyczne. Kontrprzykłady zostały omówione w odpowiedziach na kilka pytań tutaj w CV. Potrzebujesz więcej niż tylko wszystkich chwil - potrzebujesz MGF, aby istniał w sąsiedztwie 0.
Glen_b
1
@PeterWestfall Często przyjmuje się wsparcie nieskończone, na przykład jako dla stężenia leku w osoczu krwi. W takim przypadku ciężkość ogona określa, czy średni czas przebywania leku w organizmie mierzy cokolwiek (np. Rozkład wykładniczy), czy nie (np. Niektóre rozkłady Pareto). 0t<
Carl
1
@PeterWestfall Rozumiem twój punkt, podobny do nma.berkeley.edu/ark:/28722/bk000471p7j . Należy przypomnieć, że każda dystrybucja oznacza różne środki dla różnych rzeczy. Na przykład średnia wartość ekstremalna to MVUE dla lokalizacji rozkładu jednolitego, a nie średnia, a nie mediana. Pomiędzy tymi ekstremalnymi wartościami ogony są ciężkie, ale na zewnątrz ogony są zamki błyskawiczne. Co to ma wspólnego z wyższym momentem, takim jak kurtoza, kiedy pierwszy moment nie jest MVUE, nie odważyłbym się zgadywać. Może coś, ale co?
Carl,