Jaka jest najbardziej zaskakująca charakterystyka rozkładu Gaussa (normalnego)?

52

Standaryzowany rozkład Gaussa na można zdefiniować, podając wprost jego gęstość: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

lub jego charakterystyczna funkcja.

Jak przypomniano w tym pytaniu, jest to również jedyny rozkład, dla którego średnia próbki i wariancja są niezależne.

Jakie są inne zaskakujące alternatywne cechy miar Gaussa, które znasz? Przyjmę najbardziej zaskakującą odpowiedź

probability normal-distribution mathematical-statistics characteristic-function robin girard
źródło

39

Moim najbardziej zaskakującym jest ten dotyczący średniej próbki i wariancji, ale oto inna (być może) zaskakująca charakterystyka: jeśli i są IID ze skończoną wariancją z i niezależnymi od , to i są normalne. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Intuicyjnie zwykle możemy zidentyfikować, kiedy zmienne nie są niezależne za pomocą wykresu rozrzutu. Wyobraź sobie więc wykres rozrzutu par który wygląda na niezależny. Teraz obróć o 45 stopni i spójrz ponownie: jeśli nadal wygląda to niezależnie, wówczas współrzędne i indywidualnie muszą być normalne (oczywiście to wszystko mówi luźno). $(X,Y)$ $X$ $Y$

Aby zobaczyć, dlaczego działa intuicyjny bit, spójrz na

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

użytkownik1108
źródło

3

Jay - jest to w zasadzie ponowne stwierdzenie niezależności średniej i wariancji. to przeskalowana średnia, a to przeskalowane odchylenie standardowe.

X + Y

$X+Y$

X - Y

$X-Y$

probabilityislogic

5

@probabilityislogic - podoba mi się intuicja tego, co powiedziałeś, ale nie sądzę, że jest to dokładnie powtórzenie, ponieważ nie jest dokładnie przeskalowaniem SD: SD zapomina znaku. Zatem niezależność średniej i SD wynika z niezależności , (gdy ), ale nie na odwrót. To mogło być to, co miałeś na myśli „w zasadzie”. W każdym razie to dobre rzeczy.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Gdzie możemy znaleźć dowód na tę nieruchomość?

Royi

1

@ Royi patrz 16. tutaj . W przypadku (a) zwróć uwagę, że . Za (b) zwróć uwagę, że który tęskni za zamianą z którego otrzymujesz . Jeśli , to , stąd dla wszystkich , i istnieje sekwencja taka, że i dla wszystkich , co jest sprzeczne z ciągłością przy

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ . (c) jest prosty [ciąg dalszy]

Gabriel Romon

1

Dla (d), . Zauważ, że , stąd . Podłącz to do poprzedniej równości i udowodnij, że dla ustalonego , co oznacza dla wszystkich . Oznacza to, że jest prawdziwe, a równość w (a) zamienia się w to, o co pytamy. Ponownie udowodnij, że i użyj aby uzyskać . Stąd i

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ jest normalny.

Gabriel Romon

27

Rozkład ciągły ze stałą wariancją, który maksymalizuje entropię różnicową, jest rozkładem Gaussa.

shabbychef
źródło

22

Napisano o tym całą książkę: „Charakterystyka normalnego prawdopodobieństwa”, AM Mathai i G. Perderzoli. Krótki przegląd w JASA (grudzień 1978) wymienia następujące kwestie :

Niech będą niezależnymi zmiennymi losowymi. Wtedy i są niezależne, gdzie , jeśli i tylko jeśli [są] normalnie dystrybuowane. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

whuber
źródło

3

musi istnieć warunek taki jak ? na przykład, jeśli n = 2 i nie są niezależne.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

robin girard

1

@robin dobry połów. Zastanawiam się także nad ukrytymi kwantyfikatorami. Niestety, mam tylko dostęp do tego (wstrząsającego) cytatu z recenzji, a nie z książki. Byłoby fajnie znaleźć go w bibliotece i przeglądać ...

whuber

To wydaje się uogólnieniem odpowiedzi G. Jaya Kernsa (obecnie nr 1).

vqv,

Myślę, że może szukasz gazety Lukacs & King (1954). Zobacz tę odpowiedź na stronie math.SE z linkiem do wyżej wymienionej pracy.

kardynał

2

Gdzie ta propozycja mówi „gdzie ”, czy oznacza to KAŻDY zestaw skalarów, gdzie ? Nienawidzę patrzenia na „gdzie” zamiast „dla każdego” lub „dla niektórych”. Gdzie „należy użyć do wyjaśnienia swojej notacji, jak w„ gdzie jest prędkością światła jest produktem krajowym brutto ”itp.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

Michael Hardy

17

Rozkłady Gaussa to jedyne rozkłady stabilne sumowo ze skończoną wariancją.

shabbychef
źródło

8

To, że są stabilne sumarycznie i że są wyjątkowe ze skończoną wariancją, jest narzucone nam przez CLT. Interesującą częścią tego twierdzenia jest to, że istnieją inne rozkłady stabilne sumowo!

whuber

1

@whuber: rzeczywiście! ta charakterystyka jest nieco zniekształcona, a inne rozkłady stabilne sumowo są być może bardziej interesujące.

shabbychef

@ Whuber, właściwie nie rozumiem, w jaki sposób CLT implikuje ten fakt. Wydaje się nam tylko mówić, że asymptotycznie suma normalnych jest normalna, a nie, że jakakolwiek suma skończona jest normalnie rozłożona. A może musisz w jakiś sposób wykorzystać twierdzenie Słuckiego?

shabbychef

3

Przyjmując zwykłą normalizację, suma dwóch normalnych jest sumą jednego rozkładu normalnego X_0 plus ograniczającego rozkładu szeregu X_1, X_2, ..., skąd suma jest rozkładem granicznym X_0, X_1, ... przez Lindeberg-Levy CLT jest normalny.

whuber

17

Lemma Steina zapewnia bardzo przydatną charakterystykę. jest standardowym gaussowskim iff dla wszystkich absolutnie ciągłych funkcji z . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

vqv
źródło

12

Twierdzenie [Herschel-Maxwell]: Niech będzie wektorem losowym, dla którego (i) rzuty na podprzestrzenie ortogonalne są niezależne i (ii) rozkład zależy tylko od długości. Wtedy jest zwykle dystrybuowane. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Cytowany przez George'a Cobba w „ Teaching Statistics”: Niektóre ważne napięcia (chilijskie J. Statistics Vol. 2, nr 1, kwiecień 2011) na str. 54

Cobb używa tej charakterystyka jako punkt wyjścia dla uzyskania , i rozkładu bez użycia Calculus (lub wiele teorii prawdopodobieństwa). $\chi^2$ $t$ $F$

whuber
źródło

9

Niech i będą dwiema niezależnymi zmiennymi losowymi o wspólnym rozkładzie symetrycznym, takim jak $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Zatem te zmienne losowe są gaussowskie. (Oczywiście, jeśli i są wyśrodkowane gaussowskie, to prawda.) $\xi$ $\eta$

To jest twierdzenie Bobkova-Houdre'a

robin girard
źródło

9

To nie jest charakterystyka, ale przypuszczenie, które pochodzi z 1917 roku i wynika z Cantelli:

Jeśli jest funkcją dodatnią na a i są losowymi zmiennymi niezależnymi od tak że jest normalne, to jest stałą prawie wszędzie. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Wymienione przez Gérarda Letac tutaj .

Did
źródło

dobrze, że o tym wspominasz! Nie mogę zrozumieć intuicji, prawda?

robin girard

@robin To sprawia, że ta hipoteza jest tak wyjątkowa: całkowicie elementarne stwierdzenie, niektóre oczywiste podejścia, które zawodzą żałośnie (charakterystyczne funkcje), i nie pozostaje nic do uchwycenia ... Nawiasem mówiąc, należy postawić na prawdziwość hipotezy czy fałsz? Nawet to nie jest oczywiste (dla mnie).

Czy

2

Jeśli Gérard Letac nie zdoła tego udowodnić, może pozostawać otwartą hipotezą przez dłuższy czas ...!

Xi'an

@ Xi'an: Oczywiście w pełni się zgadzam. (Nie wiedziałem, że wędrujesz w tych częściach internetu ... Dobra wiadomość, że jesteś.)

Czy

6

@ Xi'an Oto preprint Victora Kleptsyna i Aline Kurtzmann z kontrprzykładem do hipotezy Cantelli. Konstrukcja wykorzystuje nowe narzędzie, które autorzy nazywają transportem masowym Browna, i daje nieciągłą funkcję . Autorzy twierdzą, że uważają, że hipoteza Cantellego obowiązuje, jeśli ktoś zapyta, że jest ciągła (ich jest mieszaniną dwóch ciągłych funkcji).

f

$f$

f

$f$

Czy

8

Załóżmy, że jeden szacuje parametr lokalizacji przy użyciu danych identyfikatora . Jeśli jest estymatorem największej wiarygodności, wówczas rozkład próbkowania jest gaussowski. Według teorii prawdopodobieństwa Jaynesa : Logika nauki str. 202-4, tak pierwotnie Gauss ją wyprowadził. $\{x_1,...,x_n\}$ $\bar{x}$

Cyjan
źródło

Nie jestem pewien, czy rozumiem to jako charakterystykę normalnego rozkładu, więc prawdopodobnie czegoś mi brakuje. Co jeśli mielibyśmy dane Poissona i chcieliśmy oszacować ? MLE to ale rozkład próbkowania nie jest gaussowski - po pierwsze, musi być racjonalny; po drugie, gdyby był Gaussowski, to byłby ale to jest .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

Silverfish,

2

Średnia Poissona nie jest parametrem lokalizacji!

kjetil b halvorsen

6

Bardziej szczegółową charakterystykę rozkładu normalnego w klasie rozkładów nieskończenie podzielnych przedstawiono w Steutel i Van Harn (2004) .

Nie-zdegenerowana nieskończenie podzielna losowa zmienna ma rozkład normalny wtedy i tylko wtedy, gdy spełnia $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Ten wynik charakteryzuje rozkład normalny pod względem zachowania ogona.

10525
źródło

1

Krótki dowód podanego limitu wygląda następująco: Jeśli jest standardową normą, to jako , więc . Ale więc wynik jest następujący. Szorstki szkic przypadku Poissona wydaje się wskazywać, że podany limit to , ale nie sprawdziłem tego zbyt dokładnie.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

kardynał

6

W kontekście wygładzania obrazu (np. Przestrzeni skali ) Gaussian jest jedynym obrotowo symetrycznym separowalnym * jądrem.

To znaczy, jeśli wymagamy gdzie , wówczas symetria rotacyjna wymaga co jest równoważne .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Wymaganie, aby było prawidłowym jądrem, wymaga więc stałej dodatniej i wartości początkowej dodatniej, co daje jądro Gaussa. $f[x]$

* W kontekście rozkładów prawdopodobieństwa separowalne oznacza niezależne, podczas gdy w kontekście filtrowania obrazu pozwala zredukować obliczenie splotu 2D do dwóch zwojów 1D.

GeoMatt22
źródło

2

+1 Ale czy nie wynika to z natychmiastowego zastosowania twierdzenia Herschela-Maxwella w 2D?

whuber

@ whuber Rzeczywiście, jakoś udało mi się przeoczyć twoją odpowiedź, przeglądając ten wątek!

ameba mówi Przywróć Monikę

@ whuber Tak. Nie przeczytałem szczegółowo tego starego wątku i dodawałem tę odpowiedź na żądanie.

GeoMatt22,

1

@amoeba patrz również tutaj .

GeoMatt22,

3

Ostatnio Ejsmont [1] opublikował artykuł z nową charakterystyką Gaussa:

Niech będą niezależnymi losowymi wektorami ze wszystkimi momentami, w których są generowane, i niech statystyki mają rozkład, który zależy tylko od , gdzie i . Zatem są niezależne i mają ten sam rozkład normalny ze średnimi zerowymi i dla . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1] Ejsmont, Wiktor. „Charakterystyka rozkładu normalnego przez niezależność pary losowych wektorów”. Statystyka i listy prawdopodobieństwa 114 (2016): 1-5.

Daniel
źródło

1

To delikatna i fascynująca charakterystyka. Dziękujemy za ulepszenie tego wątku, udostępniając go!

whuber

1

Jego charakterystyczna funkcja ma taką samą formę jak pdf. Nie jestem pewien innej dystrybucji, która to robi.

Jason
źródło

4

Zobacz moją odpowiedź, aby dowiedzieć się, jak konstruować zmienne losowe, których charakterystyczne funkcje są takie same jak ich pliki pdf.

Dilip Sarwate

-1

Oczekiwanie plus minus odchylenie standardowe są punktami siodłowymi funkcji.

Tal Galili
źródło

11

Jest to z pewnością właściwość rozkładu Normalnego, ale nie charakteryzuje go, ponieważ wiele innych dystrybucji ma również tę właściwość.

whuber

Jaka jest najbardziej zaskakująca charakterystyka rozkładu Gaussa (normalnego)?

Odpowiedzi: