Rozważ sumę

Możemy do tego podejść na różne sposoby, z których każde może wydawać się intuicyjne dla niektórych osób, a mniej intuicyjne dla innych. Aby uwzględnić taką zmienność, w tej odpowiedzi przeanalizowano kilka takich podejść, obejmujących główne podziały myśli matematycznej - analizę (nieskończoną i nieskończenie małą), geometrię / topologię (relacje przestrzenne) i algebrę (formalne wzory manipulacji symbolicznych) - jako samo prawdopodobieństwo. Jego zwieńczeniem jest obserwacja, która jednoczy wszystkie cztery podejścia, pokazuje, że należy odpowiedzieć na prawdziwe pytanie i dokładnie pokazuje, na czym polega problem. Każde podejście zapewnia na swój sposób głębszy wgląd w naturę kształtów funkcji rozkładu prawdopodobieństwa sum niezależnych zmiennych jednorodnych.

tło

Uniform dystrybucja $[0,1]$ ma kilka podstawowych informacji. Gdy ma taki rozkład, $X$

Szansa, że leży w mierzalnym zbiorze jest tylko miarą (długością) , zapisaną. $X$ $A$ $A \cap [0,1]$ $|A \cap [0,1]|$
Z tego wynika, że funkcja skumulowanego rozkładu (CDF) jest natychmiastowa

$F_{X} (x) = Pr (X \leq x) = | (- \infty, x] \cap [0, 1] | = | [0, min (x, 1)] | = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ x & 0 \leq x \leq 1 \\ 1 & x > 1. \end{cases} \end{array}$ $F_X(x) = \Pr(X \le x) = |(-\infty, x] \cap [0,1]| = |[0,\min(x,1)]| = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x\lt 0 \\ x & 0\leq x\leq 1 \\ 1 & x\gt 1. \end{array}\right. \end{array}$
Funkcja gęstości prawdopodobieństwa (PDF), która jest pochodną CDF, wynosi dla a przeciwnym razie. (Jest niezdefiniowany dla i ) $f_X(x) = 1$ $0 \le x \le 1$ $f_X(x)=0$ $0$ $1$

Intuicja z funkcji charakterystycznych (analiza)

Funkcja charakterystyczna (CF) każdej zmiennej losowej jest oczekiwanie (gdzie to jednostka urojona, ). Korzystając z pliku PDF jednolitej dystrybucji, możemy obliczyć $X$ $\exp(i t X)$ $i$ $i^2=-1$

ϕ_{X} (t) = \int_{- \infty}^{\infty} \exp (i t x) f_{X} (x) d x = \int_{0}^{1} \exp (i t x) d x = {\frac{\exp (i t x)}{i t} |}_{x = 0}^{x = 1} = \frac{\exp (i t) - 1}{i t} .

$\phi_X(t) = \int_{-\infty}^\infty \exp(i t x) f_X(x) dx = \int_0^1 \exp(i t x) dx = \left. \frac{\exp(itx)}{it} \right|_{x=0}^{x=1} = \frac{\exp(it)-1}{it}.$

CF jest (wersją) transformacji Fouriera w pliku PDF, . Najbardziej podstawowe twierdzenia o transformatach Fouriera to: $\phi(t) = \hat{f}(t)$

CF sumy zmiennych niezależnych jest iloczynem ich CF. $X+Y$
Gdy oryginalny plik PDF jest ciągły, a jest ograniczony, można odzyskać z CF przez ściśle powiązaną wersję transformacji Fouriera, $f$ $X$ $f$ $\phi$

f (x) = \overset{ˇ}{ϕ} (x) = \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t .

$f(x) = \check{\phi}(x) = \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt.$

Gdy jest różniczkowalna, jego pochodną można obliczyć pod znakiem integralnym: $f$

$f^{'} (x) = \frac{d}{d x} \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t = \frac{- i}{2 π} \int_{- \infty}^{\infty} t \exp (- i x t) ϕ (t) d t .$ $f'(x) = \frac{d}{dx} \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt = \frac{-i}{2\pi} \int_{-\infty}^\infty t \exp(-i x t) \phi(t) dt.$
Aby to było dobrze zdefiniowane, ostatnia całka musi zbiegać się absolutnie; to jest,

$\int_{- \infty}^{\infty} | t \exp (- i x t) ϕ (t) | d t = \int_{- \infty}^{\infty} | t | | ϕ (t) | d t$ $\int_{-\infty}^\infty |t \exp(-i x t) \phi(t)| dt = \int_{-\infty}^\infty |t| |\phi(t)| dt$
musi zbiegać się do wartości skończonej. I odwrotnie, kiedy się zbiega, pochodna istnieje wszędzie dzięki tym formułom inwersyjnym.

Teraz jest już jasne, jak różniczkowalny jest PDF dla sumy jednolitych zmiennych: od pierwszego punktu CF sumy zmiennych iid jest CF jednej z nich podniesionej do potęgi , tutaj równa się . Licznik jest ograniczony (składa się z fal sinusoidalnych), a mianownik to . Możemy pomnożyć taki całka przez i nadal będzie on absolutnie zbieżny, gdy i zbiegnie się warunkowo, gdy . Tak więc wielokrotne stosowanie trzeciego punktu pokazuje, że PDF dla sumy jednolitych zmiennych będzie wynosił w sposób ciągły $n$ $n^\text{th}$ $(\exp(i t) - 1)^n / (i t)^n$ $O(t^{n})$ $t^{s}$ $s \lt n-1$ $s = n-1$ $n$ $n-2$ razy różniczkowalna, aw większości miejsc będzie razy różniczkowalna. $n-1$

CF dla n = 10

Niebieska cieniowana krzywa jest logarytmicznym wykresem wartości bezwzględnej rzeczywistej części CF sumy iid jednolitych zmiennych. Przerywana czerwona linia jest asymptotą; jego nachylenie wynosi , co pokazuje, że plik PDF jest razy różny. Dla porównania, krzywa szara rysuje rzeczywistą część CF dla podobnie ukształtowanej funkcji Gaussa (normalny PDF). $n=10$ $-10$ $10 - 2 = 8$

Intuicja z prawdopodobieństwa

Niech i będą niezależnymi zmiennymi losowymi, w których ma rozkład równomierny . Rozważmy wąski przedział . Rozkładamy szansę, że na szansę, że jest wystarczająco blisko tego przedziału razy szansę, że ma odpowiedni rozmiar umieścić w tym przedziale, biorąc pod uwagę, że jest wystarczająco blisko: $Y$ $X$ $X$ $[0,1]$ $(t, t+dt]$ $X+Y \in (t, t+dt]$ $Y$ $X$ $X+Y$ $Y$

\begin{aligned} f_{X + Y} (t) d t = & Pr (X + Y \in (t, t + d t]) \\ = Pr (X + Y \in (t, t + d t] | Y \in (t - 1, t + d t]) Pr (Y \in (t - 1, t + d t]) \\ = Pr (X \in (t - Y, t - Y + d t] | Y \in (t - 1, t + d t]) (F_{Y} (t + d t) - F_{Y} (t - 1)) \\ = 1 d t (F_{Y} (t + d t) - F_{Y} (t - 1)) . \end{aligned}

$\eqalign{ f_{X+Y}(t) dt = &\Pr(X+Y\in (t,t+dt])\\ & = \Pr(X+Y\in (t,t+dt] | Y \in (t-1, t+dt]) \Pr(Y \in (t-1, t+dt]) \\ & = \Pr(X \in (t-Y, t-Y+dt] | Y \in (t-1, t+dt]) \left(F_Y(t+dt) - F_Y(t-1)\right) \\ & = 1 dt \left(F_Y(t+dt) - F_Y(t-1)\right). }$

Ostateczna równość wynika z wypowiedzi dla PDF . Dzieląc obie strony przez i przyjmując limit jak daje $X$ $dt$ $dt\to 0$

f_{X + Y} (t) = F_{Y} (t) - F_{Y} (t - 1) .

$f_{X+Y}(t) = F_Y(t) - F_Y(t-1).$

Innymi słowy, dodanie zmiennej Uniform do dowolnej zmiennej zmienia pdf w zróżnicowany CDF . Ponieważ PDF jest pochodną CDF, oznacza to, że za każdym razem, gdy dodajemy niezależną zmienną jednolitą do , wynikowy PDF jest raz bardziej zróżnicowany niż wcześniej. $[0,1]$ $X$ $Y$ $f_Y$ $F_Y(t) - F_Y(t-1)$ $Y$

Załóżmy, zastosować tę wiedzę, począwszy od jednolitej zmiennej . Oryginalnego pliku PDF nie można odróżnić od lub : jest tam nieciągły. PDF jest różniczkowalną w , lub , ale musi być ciągły w tych punktach, ponieważ jest to różnica całek PDF . Dodaj kolejną niezależną zmienną jednolitą : plik PDF jest różniczkowalny w , , i ale niekoniecznie ma drugi $Y$ $0$ $1$ $Y+X$ $0$ $1$ $2$ $Y$ $X_2$ $Y+X+X_2$ $0$ $1$ $2$ $3$ instrumenty pochodne w tych punktach. I tak dalej.

Intuicja z geometrii

CDF w sumy zmiennej iid uniform jest równy objętości jednostkowego hipersześcianu leżącego w półprzestrzeni . Sytuacja dla zmiennych jest pokazana tutaj, przy ustawionym na , , a następnie . $t$ $n$ $[0,1]^n$ $x_1+x_2+\cdots+x_n \le t$ $n=3$ $t$ $1/2$ $3/2$ $5/2$

Kostka 3D

Gdy przechodzi od do , hiperpłaszczyzna przecina wierzchołki przy , . Za każdym razem zmienia się kształt przekroju: na rysunku najpierw jest trójkąt ( sympleks), następnie sześciokąt, a następnie trójkąt. Dlaczego plik PDF nie ma ostrych zagięć przy tych wartościach ? $t$ $0$ $n$ $H_n(t): x_1+x_2+\cdots+x_n=t$ $t=0$ $t=1, \ldots, t=n$ $2$ $t$

Aby to zrozumieć, najpierw rozważ małe wartości . Tutaj hiperpłaszczyzna odcina -simplex. Wszystkie wymiary simpleksu są wprost proporcjonalne do , skąd jego „obszar” jest proporcjonalny do . Pewna notacja przyda się później. Niech będzie „funkcją kroku jednostkowego” $t$ $H_n(t)$ $n-1$ $n-1$ $t$ $t^{n-1}$ $\theta$

θ (x) = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ 1 & x \geq 0. \end{cases} \end{array}

$\theta(x) = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x \lt 0 \\ 1 & x\ge 0. \end{array}\right. \end{array}$

Gdyby nie obecność innych rogów hipersześcianu, skalowanie kontynuowałoby się w nieskończoność. Wykres pola -simplex wyglądałby jak jednolita niebieska krzywa poniżej: jest zerowa przy wartościach ujemnych i wynosina pozytywnym, dogodnie napisane. Ma „załamanie” rzędu na początku, w tym sensie, że wszystkie pochodne przez rząd istnieją i są ciągłe, ale że lewe i prawe pochodne rzędu istnieją, ale nie zgadzają się na początku . $n-1$ $t^{n-1}/(n-1)!$ $\theta(t) t^{n-1}/(n-1)!$ $n-2$ $n-3$ $n-2$

(Pozostałe krzywe pokazane na tym rysunku to (Czerwony), (Złoty) i (Czarny). Ich role w przypadku omówiono poniżej.) $-3\theta(t-1) (t-1)^{2}/2!$ $3\theta(t-2) (t-2)^{2}/2!$ $-\theta(t-3) (t-3)^{2}/2!$ $n=3$

Prosta działka

Aby zrozumieć, co dzieje się, gdy przecina , przyjrzyjmy się szczegółowo przypadkowi , w którym cała geometria zachodzi w płaszczyźnie. Możemy postrzegać jednostkę „sześcian” (teraz tylko kwadrat) jako liniową kombinację kwadrantów , jak pokazano tutaj: $t$ $1$ $n=2$

Ćwiartki

Pierwszy kwadrant pojawia się w lewym dolnym panelu, w kolorze szarym. Wartość wynosi , określając linię ukośną pokazaną na wszystkich pięciu panelach. CDF równa się żółtemu obszarowi pokazanemu po prawej stronie. Ten żółty obszar składa się z: $t$ $1.5$

Trójkątny szary obszar w lewym dolnym panelu,
minus trójkątny zielony obszar w lewym górnym panelu,
minus trójkątny czerwony obszar w dolnym środkowym panelu,
plus dowolny niebieski obszar w górnym środkowym panelu (ale nie ma takiego obszaru, nie będzie też, dopóki przekroczy ). $t$ $2$

Każdy z tych obszarów jest obszarem trójkąta. Pierwszy skaluje się jak , następne dwa mają zero dla a w przeciwnym razie skalują jak , a ostatni wynosi zero dla i poza tym skaluje się jak . Ta analiza geometryczna wykazała, że CDF jest proporcjonalny do = ; równoważnie plik PDF jest proporcjonalny do sumy trzech funkcji , i $2^n=4$ $t^n=t^2$ $t\lt 1$ $(t-1)^n = (t-1)^2$ $t\lt 2$ $(t-2)^n$ $\theta(t)t^2 - \theta(t-1)(t-1)^2 - \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t^2 - 2 \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t$ $-2\theta(t-1)(t-1)$ $\theta(t-2)(t-2)$ (każdy skaluje się liniowo, gdy ). Lewy panel tego rysunku pokazuje ich wykresy: oczywiście wszystkie są wersjami oryginalnego wykresu , ale (a) przesunięto o , i jednostki w prawo i (b) przeskalowano o Odpowiednio i . $n=2$ $\theta(t)t$ $0$ $1$ $2$ $1$ $-2$ $1$

Wykresy dla n = 2

Prawy panel pokazuje sumę tych wykresów (jednolita czarna krzywa, znormalizowana w celu uzyskania pola jednostkowego: jest to dokładnie wyglądający kątowo plik PDF pokazany w pierwotnym pytaniu.

Teraz możemy zrozumieć naturę „załamań” w pliku PDF dowolnej sumy zmiennych jednolitych iid. Wszystkie są dokładnie takie same jak „załamanie” występujące przy w funkcji , ewentualnie przeskalowane i przesunięte do liczb całkowitych odpowiadające miejscu, w którym hiperpłaszczyzna przecina wierzchołki hipersześcianu. Dla jest to widoczna zmiana kierunku: prawa pochodna przy wynosi podczas gdy jej lewa pochodna wynosi . Dla jest to ciągłość $0$ $\theta(t)t^{n-1}$ $1,2,\ldots, n$ $H_n(t)$ $n=2$ $\theta(t)t$ $0$ $0$ $1$ $n=3$ zmiana kierunku, ale nagła (nieciągła) zmiana drugiej pochodnej. W przypadku ogólnego będą występowały ciągłe pochodne poprzez rząd ale nieciągłość w pochodnej . $n$ $n-2$ $n-1^\text{st}$

Intuicja z manipulacji algebraicznej

Integracja w celu obliczenia CF, forma warunkowego prawdopodobieństwa w analizie probabilistycznej oraz synteza hipersześcianu jako liniowej kombinacji kwadrantów sugerują powrót do pierwotnego rozkładu równomiernego i ponowne wyrażenie go jako liniowej kombinacji prostszych rzeczy . Rzeczywiście, jego plik PDF można zapisać

f_{X} (x) = θ (x) - θ (x - 1) .

$f_X(x) = \theta(x) - \theta(x-1).$

Przedstawiamy operator przesunięcia : działa na dowolną funkcję , przesuwając wykres o jedną jednostkę w prawo: $\Delta$ $f$

(Δ f) (x) = f (x - 1) .

$(\Delta f)(x) = f(x-1).$

Formalnie zatem dla PDF jednolitej zmiennej możemy napisać $X$

f_{X} = (1 - Δ) θ .

$f_X = (1 - \Delta)\theta.$

Plik PDF sumy iid mundurów to splot ze sobą razy. Wynika to z definicji sumy zmiennych losowych: splot dwóch funkcji i jest funkcją $n$ $f_X$ $n$ $f$ $g$

(f ⋆ g) (x) = \int_{- \infty}^{\infty} f (x - y) g (y) d y .

$(f \star g)(x) = \int_{-\infty}^{\infty} f(x-y)g(y) dy.$

Łatwo jest sprawdzić, czy splot dojeżdża do . Wystarczy zmienić zmienną całkowania z na : $\Delta$ $y$ $y+1$

\begin{aligned} (f ⋆ (Δ g)) & = \int_{- \infty}^{\infty} f (x - y) (Δ g) (y) d y \\ = \int_{- \infty}^{\infty} f (x - y) g (y - 1) d y \\ = \int_{- \infty}^{\infty} f ((x - 1) - y) g (y) d y \\ = (Δ (f ⋆ g)) (x) . \end{aligned}

$\eqalign{ (f \star (\Delta g)) &= \int_{-\infty}^{\infty} f(x-y)(\Delta g)(y) dy \\ &= \int_{-\infty}^{\infty} f(x-y)g(y-1) dy \\ &= \int_{-\infty}^{\infty} f((x-1)-y)g(y) dy \\ &= (\Delta (f \star g))(x). }$

Dla PDF sumy IID mundurach, możemy teraz przystąpić do pisania algebraicznie $n$

f = f_{X}^{⋆ n} = ((1 - Δ) θ)^{⋆ n} = (1 - Δ)^{n} θ^{⋆ n}

$f = f_X^{\star n} = ((1 - \Delta)\theta)^{\star n} = (1-\Delta)^n \theta^{\star n}$

(gdzie „ ” moc ”oznacza powtarzane splot, a nie punktowe mnożenie!). Teraz jest bezpośrednią, elementarną integracją, dającą $\star n$ $\theta^{\star n}$

θ^{⋆ n} (x) = θ (x) \frac{x^{n - 1}}{n - 1!} .

$\theta^{\star n}(x) = \theta(x) \frac{x^{n-1}}{{n-1}!}.$

Reszta to algebra, ponieważ stosuje się twierdzenie dwumianowe (jak ma to miejsce w każdej algebrze przemiennej nad rzeczywistością):

f = (1 - Δ)^{n} θ^{⋆ n} = \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) Δ^{i} θ^{⋆ n} .

$f = (1-\Delta)^n \theta^{\star n} = \sum_{i=0}^{n} (-1)^i \binom{n}{i} \Delta^i \theta^{\star n}.$

Ponieważ po prostu przesuwa swój argument o , pokazuje PDF jako liniową kombinację przesuniętych wersji , dokładnie tak, jak wywnioskowaliśmy geometrycznie: $\Delta^i$ $i$ $f$ $\theta(x) x^{n-1}$

f (x) = \frac{1}{(n - 1)!} \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) (x - i)^{n - 1} θ (x - i) .

$f(x) = \frac{1}{(n-1)!}\sum_{i=0}^{n} (-1)^i \binom{n}{i} (x-i)^{n-1}\theta(x-i).$

(John Cook cytuje tę formułę później w swoim blogu, używając notacji dla .) $(x-i)^{n-1}_+$ $(x-i)^{n-1}\theta(x-i)$

W związku z tym, ponieważ jest wszędzie płynną funkcją, każde zachowanie PDF będzie występować tylko w miejscach, w których jest liczbą pojedynczą (oczywiście tylko ) i w tych miejscach przesuniętych w prawo o . Charakter tego pojedynczego zachowania - stopień gładkości - będzie zatem taki sam we wszystkich lokalizacjach . $x^{n-1}$ $\theta(x)$ $0$ $1, 2, \ldots, n$ $n+1$

Ilustruje to obraz dla , pokazujący (w lewym panelu) poszczególne warunki w sumie i (w prawym panelu) częściowe sumy, kończące się samą sumą (jednolita czarna krzywa): $n=8$

Wykres dla n = 8

Komentarze końcowe

Warto zauważyć, że to ostatnie podejście w końcu dostarczyło zwartego, praktycznego wyrażenia do obliczania PDF sumy iid jednorodnych zmiennych. (Wzór na CDF jest podobnie uzyskany.) $n$

Centralne twierdzenie o granicy nie ma tu wiele do powiedzenia. W końcu suma zmiennych dwumianowych iid jest zbieżna z rozkładem normalnym, ale ta suma jest zawsze dyskretna: nigdy nawet nie ma pliku PDF! Nie powinniśmy mieć nadziei, że jakiekolwiek intuicje dotyczące „załamań” lub innych miar różnicowania pliku PDF będą pochodzić z CLT.

Whuber
źródło

(+1) Fantastycznie! Jak długo zajęło ci zebranie tego wszystkiego ?!

kardynał

@Cardinal To było ostatnie pytanie, które przeczytałem przed utratą władzy w zeszły poniedziałek. W następnym tygodniu długie ciemne wieczory były okazją do przemyślenia :-) i, dla rozrywki, opracowania wielu odpowiedzi. Po przywróceniu zasilania w zeszły weekend wystarczyło tylko znaleźć trochę czasu na zrobienie ilustracji i napisanie wszystkiego (co, jak sądzę, zajęło mi więcej czasu niż oczekiwano). Mam nadzieję, że być może część tego wątku może posłużyć jako odniesienie do powiązanych przyszłych pytań dotyczących sum zmiennych losowych.

whuber

Łał. Chciałbym móc „polubić” tę odpowiedź .

Rhubbarb

whuber, to jest absolutnie niesamowite. Nigdy nie zdawałem sobie sprawy, jak głębokie może być tak proste pytanie. Zajmie mi to trochę czasu, zanim zrozumiem twoją odpowiedź, ale na razie bardzo dziękuję!

tetragrammaton

Naruszę zasady SE dotyczące komentarzy, mówiąc, że my (wszyscy z crossvalidate.com) powinniśmy przekupić Twoją firmę energetyczną, aby częściej

odcinała