Jak mogę analitycznie udowodnić, że losowy podział kwoty powoduje wykładniczy rozkład (np. Dochodu i majątku)?

36

W bieżącym artykule w NAUCE proponuje się:

Załóżmy, że losowo dzielisz 500 milionów dochodów na 10 000 osób. Jest tylko jeden sposób na zapewnienie wszystkim równych 50 000 udziałów. Jeśli więc losujesz pieniądze, równość jest bardzo mało prawdopodobna. Ale istnieją niezliczone sposoby, aby dać kilku osobom dużo gotówki, a wielu niewiele lub nic. W rzeczywistości, biorąc pod uwagę wszystkie sposoby podziału dochodów, większość z nich generuje wykładniczy rozkład dochodów.

Zrobiłem to za pomocą następującego kodu R, który wydaje się potwierdzać wynik:

library(MASS)

w <- 500000000 #wealth
p <- 10000 #people

d <- diff(c(0,sort(runif(p-1,max=w)),w)) #wealth-distribution
h <- hist(d, col="red", main="Exponential decline", freq = FALSE, breaks = 45, xlim = c(0, quantile(d, 0.99)))

fit <- fitdistr(d,"exponential")
curve(dexp(x, rate = fit$estimate), col = "black", type="p", pch=16, add = TRUE)

wprowadź opis zdjęcia tutaj

Moje pytanie
Jak mogę analitycznie udowodnić, że wynikowy rozkład jest rzeczywiście wykładniczy?

Dodatek
Dziękujemy za odpowiedzi i komentarze. Pomyślałem o problemie i wymyśliłem następujące intuicyjne rozumowanie. Zasadniczo dzieje się tak (uwaga: nadmierne uproszczenie): W pewnym sensie podążasz za kwotą i rzucasz monetą (tendencyjną). Za każdym razem, gdy dostajesz np. Głowy, dzielisz kwotę. Rozpowszechniasz powstałe partycje. W dyskretnym przypadku podrzucanie monet odbywa się w układzie dwumianowym, partycje są rozmieszczone geometrycznie. Ciągłe analogi to odpowiednio rozkład Poissona i rozkład wykładniczy! (Z tego samego rozumowania intuicyjnie staje się jasne, dlaczego rozkład geometryczny i wykładniczy mają właściwość bez pamięci - ponieważ moneta też nie ma pamięci).

vonjd
źródło
3
Jeśli rozdajesz pieniądze jeden po drugim, istnieje wiele sposobów równomiernego ich rozdzielania, a wiele innych - prawie równomiernego (np. Rozkład prawie normalny, o średniej wartości i standardowym odchyleniu zbliżonym do 224 )50000224
Henry
@Henry: Czy mógłbyś opisać tę procedurę nieco bardziej. Zwłaszcza co rozumiesz przez „jeden po drugim”? Być może mógłbyś nawet podać swój kod. Dziękuję Ci.
vonjd
vonjd: Zacznij od 500 milionów monet. Przydziel każdą monetę niezależnie i losowo między 10 tysiącami osób z jednakowym prawdopodobieństwem. Zsumuj, ile monet dostaje każda osoba.
Henry
@Henry: Pierwotne stwierdzenie głosiło, że większość sposobów dystrybucji zysków gotówkowych ma rozkład wykładniczy. Sposoby dystrybucji gotówki i sposoby dystrybucji monet nie są izomorficzne, ponieważ istnieje tylko jeden sposób równomiernego podziału 500 000 000 $ wśród 10 000 osób (daj każdemu 50 000 $ ), ale istnieją 500 000 000! / ((50 000!) ^ 10 000) sposoby dystrybucji 50 000 monet dla każdej z 10 000 osób.
supercat
1
@Henry W scenariuszu opisanym w najwyższym komentarzu od początku ustalono, że każda osoba ma jednakowe prawdopodobieństwo zdobycia monety. Ten warunek skutecznie przypisuje ogromną wagę normalnemu rozkładowi, zamiast równo rozważyć różne sposoby dystrybucji monet.
higgsss,

Odpowiedzi:

27

Aby uprościć problem, rozważmy przypadek, w którym dozwolone wartości udziału każdej osoby są dyskretne, np. Liczby całkowite. Równie dobrze można sobie wyobrazić podział „osi dochodu” na równomiernie rozmieszczone przedziały i przybliżenie wszystkich wartości mieszczących się w danym przedziale do punktu środkowego.

Oznaczając całkowitego dochodu jak , gdy y -tego dopuszczalna wartość jako x s , całkowitą liczbę osób, jak N , a na końcu, liczba osób akcji x y jak n y następujące warunki powinny być spełnione: C 1 ( { n s } ) s n s - N = 0 , a C 2 ( { n s } ) s n sXsxsN.xsns

do1({ns})sns-N.=0,
do2)({ns})snsxs-X=0.

Zauważ, że wiele różnych sposobów podziału udziału może reprezentować ten sam rozkład. Na przykład, jeśli weźmiemy pod uwagę podzielenie 4 $ między dwie osoby, to podanie 3 $ Alice i 1 $ Bobowi i odwrotnie dałoby identyczne rozkłady. Ponieważ podział jest losowy, rozkład z maksymalną liczbą odpowiednich sposobów podziału udziału ma największą szansę na wystąpienie.

Aby uzyskać taki rozkład, należy zmaksymalizować zgodnie z dwoma ograniczeniami podanymi powyżej. Metoda mnożników Lagrange'a jest do tego kanoniczna. Co więcej, można wybrać pracę zlnWzamiast zsamąW, ponieważ „ln” jest funkcją zwiększającą monotonię. Oznacza to, że lnW

W.({ns})N.!sns!,
lnW.W.ln gdzieλ1,2są mnożnikami Lagrange'a. Należy zauważyć, że wedługwzoru Stirlinga, LNn! nlnn-n, co prowadzi do dlnn!
lnW.ns=λ1do1ns+λ2)do1ns=λ1+λ2)xs,
λ1,2)
lnn!nlnn-n,
Tak więc, lnW
relnn!renlnn.
Wynika z tego, że nsexp(-λ1-λ2xs), co jest rozkładem wykładniczym. Można uzyskać wartości mnożników Lagrange'a za pomocą ograniczeń. Od pierwszego ograniczenia N.
lnW.ns-lnns.
nsexp(-λ1-λ2)xs),
gdzieΔxto odstęp między dopuszczalnymi wartościami. Podobnie X
N.=snssexp(-λ1-λ2)xs)1Δx0exp(-λ1-λ2)x)rex=1λ2)Δxexp(-λ1),
Δx W związku z tym mamy exp(-X1)=N2ÆX
X=snsxssxsexp(-λ1-λ2)xs)1Δx0xexp(-λ1-λ2)x)rex=1λ2)2)Δxexp(-λ1).
a λ2=N
exp(-λ1)=N.2)ΔxX,
To jest w rzeczywistości maksymalna raczej niż minimalna lub punkt siodłowy może być widoczne z juty zlnW-λ1C1-λ2C2. Dlatego,C1,2są liniowe wnyjest taka sama, jak wlnW: 2 lnW
λ2)=N.X.
lnW.-λ1do1-λ2)do2)do1,2)nslnW. i 2lnW
2)lnW.ns2)=-1ns<0,
Dlatego Hesjan jest wklęsły, a to, co znaleźliśmy, jest rzeczywiście maksimum.
2)lnW.nsnr=0(sr).

W.({ns})W.({ns})ns1ns

N.1023

higgsss
źródło
1
Dziękuję, proszę spojrzeć na odpowiedź Glen_b. Czy to jest zgodne z twoją odpowiedzią?
vonjd
2
@vonjd Nie ma za co! Myślę, że jego odpowiedź jest zgodna z moją. Wydaje mi się, że dokonuje analogii do procesu Poissona w następującym znaczeniu: Rozważ proces Poissona ze „średnim interwałem czasowym” 50 000 i policz 10 000 zdarzeń. Następnie „całkowity przedział czasu” wynosi średnio 50 000 x 10 000 = 500 milionów.
higgsss
2
@vonjd Zaktualizowałem swoją odpowiedź. Co najważniejsze, dodałem dyskusję pod warunkiem, że rozkład, który zwykle obserwujemy, jest zbliżony do najbardziej prawdopodobnego rozkładu.
higgsss
2
Czy rozważając przypadki dyskretne, warto zauważyć, że rzeczy T można podzielić na N osób ((N + T-1) wybiera sposoby (N-1))? Jeśli pierwsza osoba otrzyma f, liczba pozostałych sposobów dystrybucji to ((N + Tf-2) wybierz (N-2)); suma tego dla wartości f od 0 do N jest całkowitą liczbą sposobów dystrybucji wszystkiego.
supercat
1
T.N.,fafa(N.+T.-fa-2))(N.-2))=(N.+T.-fa-2))!/(N.-2))!/(T.-fa)! (N.+T.-fa-2))!/(T.-fa)!(T.-fa)N.-2)T.N.-2)mi-(N.-2))fa/T.
17

W rzeczywistości możesz udowodnić, że nie jest on wykładniczy, prawie banalnie:

Oblicz prawdopodobieństwo, że dany udział jest większy niż 500500

Jednak nietrudno dostrzec, że dla przykładu z jednolitą luką powinien on być zbliżony do wykładniczego.

Rozważmy proces Poissona - w którym zdarzenia występują losowo w pewnym wymiarze. Liczba zdarzeń na jednostkę przedziału ma rozkład Poissona, a przerwa między zdarzeniami jest wykładnicza.

Jeśli weźmiesz ustalony interwał, wówczas zdarzenia w procesie Poissona, które się w nim mieszczą, są równomiernie rozłożone w tym interwale. Zobacz tutaj .

[Należy jednak pamiętać, że ponieważ przedział jest skończony, po prostu nie można zaobserwować większych odstępów niż długość przedziału, a odstępy prawie tak duże będą mało prawdopodobne (rozważ na przykład w odstępie jednostkowym - jeśli widzisz odstępy 0,04 i 0,01, następna widoczna luka nie może być większa niż 0,95).]

n , liczby punktów w przedziale), można oczekiwać, że odstępy te będą rozkładane wykładniczo.

nn+1n nie będzie zbyt małe.

Mówiąc dokładniej, każda przerwa, która zaczyna się w przedziale umieszczonym nad procesem Poissona, ma szansę zostać „ocenzurowana” (skutecznie skrócona, niż byłoby to możliwe), biegając do końca przedziału.

wprowadź opis zdjęcia tutaj

Dłuższe przerwy są bardziej prawdopodobne niż krótkie, a więcej przerw w przedziale oznacza, że ​​średnia długość przerwy musi się zmniejszyć - więcej krótkich przerw. Ta tendencja do „odcięcia” będzie miała większy wpływ na rozkład dłuższych przerw niż na krótkich (i nie ma szans, że jakakolwiek przerwa ograniczona do przedziału przekroczy długość przedziału - więc rozkład wielkości szczeliny powinien zmniejszać się płynnie do zera przy wielkości całego interwału).

Na schemacie skrócony został długi interwał na końcu, a relatywnie krótszy interwał na początku jest również krótszy. Efekty te odchylają nas od wykładniczości.

n statystykami jednolitego rzędu wynosi Beta (1, n).)

n wyglądający wykładniczo przy małych wartościach, a następnie mniej wykładniczy przy większych wartościach, ponieważ gęstość przy jego największych wartościach spadnie szybciej.

Oto symulacja rozkładu przerw dla n = 2:

wprowadź opis zdjęcia tutaj

Niezbyt wykładniczy.

n1n+1

wprowadź opis zdjęcia tutaj

exp(-21x)

wprowadź opis zdjęcia tutaj

n=10000

Glen_b - Przywróć Monikę
źródło
2
Więc żeby cię dobrze zrozumieć: Mówisz, że to nie jest wykładnicze?!? higgsss udowadnia powyżej, że jest wykładniczy!
vonjd
3
Pozwól, że zacytuję moją odpowiedź: (i) „możesz udowodnić, że to nie jest wykładniczy” ALE (ii) dla jednolitych luk, na które spojrzałeś „… musi być zbliżony do wykładniczego”… ”, dopóki n nie jest za mały." ... Co jest niejasne?
Glen_b
5
nsexp(-λ1-λ2)xs)
Glen_b
2
Myślę, że ta odpowiedź jest świetnym sposobem spojrzenia na problem i zasługuje na więcej pochwał. Obawiam się jednak, że sposób działania analogii do procesu Poissona (np. Jaki „czas” odpowiada) może wydawać się niejasny. Czy zechciałbyś podać więcej szczegółów?
higgsss
3
@higgsss Przeredagowałem nieco (usuwając odniesienie do czasu), dodałem trochę szczegółów i link. Mogę dodać trochę więcej dyskusji później. Jeśli masz jakieś konkretne sugestie, byłbym zainteresowany dalszą poprawą mojej odpowiedzi.
Glen_b
8

Załóżmy, że pieniądze są nieskończenie podzielne, więc możemy zajmować się liczbami rzeczywistymi, a nie liczbami całkowitymi.

Następnie równomierny rozkład t=500000000 podzielony na części n=10000 jednostki podadzą marginalną gęstość dla każdej osoby

p(x)=n-1t(1-xt)n-2)
dla 0xtoraz marginalne prawdopodobieństwo skumulowane dla każdej osoby z
P.(Xx)=1-(1-xt)n-1.

Jeśli chcesz to zastosować, użyj podziału krańcowego, aby przydzielić losową kwotę X dowolnej osobie, a następnie zmniejsz t do t-X i n do n-1i powtórz. Zauważ, że kiedyn=2), dałoby to każdej jednostce jednolity rozkład krańcowy na pozostałą kwotę, tak jak można się spodziewać; kiedyn=1 przekazujesz wszystkie pozostałe pieniądze jednemu pozostalemu człowiekowi.

Wyrażenia te są raczej wielomianowe niż wykładnicze, ale dla dużych n prawdopodobnie będzie ci trudno odróżnić ich efekty od rozkładu wykładniczego o parametrze zbliżonym do nt. Rozkład jest asymptotycznie wykładniczy, ponieważ(1-ym)mexp(-y) tak jak m.

Henz
źródło
8

Powiedzenie „załóżmy, że losowo dzielisz 500 milionów dochodów na 10 000 osób”, nie jest wystarczająco szczegółowe, aby odpowiedzieć na pytanie. Istnieje wiele różnych losowych procesów, które można wykorzystać do przydzielenia określonej kwoty pieniędzy określonej liczbie osób, a każda z nich będzie miała swoje własne cechy charakterystyczne dla wynikowej dystrybucji. Oto trzy generatywne procesy, o których mogłem myśleć, i każdy z nich powoduje podział bogactwa.

library(MASS)

w <- 500000000 #wealth
p <- 10000 #people

Metoda 1, opublikowana przez OP:

Wybierz losowo liczby „p” z [0, w) równomiernie. Sortuj te. Dołącz „0” z przodu. Rozdaj kwoty w dolarach reprezentowane przez różnice między kolejnymi elementami na tej liście.

d <- diff(c(0,sort(runif(p-1,max=w)),w)) #wealth-distribution
h <- hist(d, col="red", main="Exponential decline", freq = FALSE, breaks = 45,
     xlim = c(0, quantile(d, 0.99)))
fit <- fitdistr(d,"exponential")
curve(dexp(x, rate = fit$estimate), col = "black", type="p", 
      pch=16, add = TRUE)

jednolite przerwy interwałowe

Metoda 2:

Wybrano liczby „p” z [0, w) równomiernie losowo. Rozważ te „ciężary”, więc „w” nie ma znaczenia na tym etapie. Normalizuj wagi. Rozdaj kwoty w dolarach reprezentowane przez ułamek „w” odpowiadający każdej masie.

d <- runif(p,max=w) #weigh-distribution
d <- d/sum(d)*w #wealth-distribution
h <- hist(d, col="red", main="pretty uniform", freq = FALSE, breaks = 45, 
          xlim = c(0, quantile(d, 0.99)))

przeskalowane wagi

Metoda 3:

Zacznij od „p” 0. razy, dodaj 1 do jednego z nich, wybranych losowo równomiernie.

d <- rep(0, p)
for( i in 1:5000000){ ## for-loops in R are terrible, but this gives the idea.
    k <- floor(runif(1, max=p)) + 1    
    d[k] = (d[k] + 1)
}
h <- hist(d, col="red", main="kinda normalish?", freq = FALSE, breaks = 45,
          xlim = c(0, quantile(d, 0.99)))

iteracyjne dolary

Todd Johnson
źródło
4

Pozwól, że dodam coś do twojego aneksu.

W ciągłym przypadku, jak zauważyli Glen_b i Henry, dokładny plik PDF kwoty, jaką otrzymuje każda osoba, to

p(x)=N.-1X(1-xX)N.-2),
gdzie N. to liczba osób i X to całkowita kwota pieniędzy.

W przypadku dyskretnym, zakładając, że istnieją M. monety do dystrybucji, prawdopodobieństwo otrzymania przez konkretną osobę m monety są

p(m)=N.-1M.+1jot=0N.-3)(1-mM.-jot)N.-2).
Kiedy M.N., dwa przypadki są ze sobą zgodne. Za wystarczająco dużyN. i dopóki trzymamy się z dala od ogona, wyglądają jak rozkłady wykładnicze.

W obu przypadkach, ponieważ próbujemy N. razy od tego rzeczywistego rozkładu prawdopodobieństwa wystąpi błąd związany ze skończoną wielkością próby.

Jednak przeprowadzenie analizy błędów nie wydaje się proste, ponieważ różne próbki w tym przypadku nie są niezależne. Muszą sumować się do łącznej kwoty, a to, ile pierwsza osoba otrzymuje, wpływa na rozkład prawdopodobieństwa dla drugiej osoby i tak dalej.

Moja poprzednia odpowiedź nie dotyczy tego problemu, ale myślę, że byłoby pomocne zobaczyć, jak można to rozwiązać w tym podejściu.

higgsss
źródło
3

Dobra analiza teoretyczna przeprowadzona przez głosowane odpowiedzi. Oto jednak mój prosty, empiryczny pogląd na to, dlaczego rozkład jest wykładniczy.

Kiedy rozdzielasz pieniądze losowo , zastanówmy się, czy robisz to jeden po drugim. Niech S będzie oryginalną sumą.

Dla pierwszego człowieka musisz wybrać losową liczbę od 0 do S. Tak więc średnio wybierzesz S / 2 i pozostaniesz przy S / 2.

W przypadku drugiego człowieka wybierasz losowo między 0 a średnio S / 2. Zatem średnio wybierzesz S / 4 i pozostaniesz przy S / 4.

Tak więc w zasadzie dzieliłbyś tę sumę na pół za każdym razem (statystycznie).

Chociaż w prawdziwym przykładzie nie będziesz miał ciągle o połowę wartości, pokazuje to, dlaczego należy oczekiwać rozkładu wykładniczego.

Bogdan Alexandru
źródło
3
Twój algorytm dziesiątki, aby dać pierwszej osobie więcej pieniędzy niż jakiejkolwiek innej. Istnieją inne podejścia, które nie mają tego nastawienia.
Henry
@Henry Jak inaczej zaczniesz dzielić się pieniędzmi? Musisz zacząć od kogoś. A kiedy to zrobisz, masz całą kwotę przed sobą. Danie mu losowej frakcji dosłownie oznacza wybranie losowej z całej sumy. Nie można powiedzieć, że założenie posiadania „pierwszego człowieka” jest błędne, ponieważ w przeciwnym razie ten, kto dzieli pieniądze, po prostu podzieliłby tę sumę przez liczbę mężczyzn, ponieważ z góry wie, ilu jest ludzi. To tylko mój punkt widzenia: kiedy mówisz, że „losowo” dzielisz pieniądze, po prostu jeden człowiek będzie zarabiał więcej
Bogdan Alexandru
Bogdan Alexandru: Mój algorytm (inna odpowiedź) ma tę cechę, że rozkład dla każdej osoby jest taki sam, bez względu na to, czy zostanie wybrany najpierw, w środku czy na końcu. Odpowiada również jednolitej gęstości w przestrzeni ograniczonej całkowitą przydzieloną kwotą.
Henry