Jaka jest najbardziej zaskakująca charakterystyka rozkładu Gaussa (normalnego)?

52

Standaryzowany rozkład Gaussa na można zdefiniować, podając wprost jego gęstość: R

12πex2/2

lub jego charakterystyczna funkcja.

Jak przypomniano w tym pytaniu, jest to również jedyny rozkład, dla którego średnia próbki i wariancja są niezależne.

Jakie są inne zaskakujące alternatywne cechy miar Gaussa, które znasz? Przyjmę najbardziej zaskakującą odpowiedź

robin girard
źródło

Odpowiedzi:

39

Moim najbardziej zaskakującym jest ten dotyczący średniej próbki i wariancji, ale oto inna (być może) zaskakująca charakterystyka: jeśli i są IID ze skończoną wariancją z i niezależnymi od , to i są normalne.XYX+YXYXY

Intuicyjnie zwykle możemy zidentyfikować, kiedy zmienne nie są niezależne za pomocą wykresu rozrzutu. Wyobraź sobie więc wykres rozrzutu par który wygląda na niezależny. Teraz obróć o 45 stopni i spójrz ponownie: jeśli nadal wygląda to niezależnie, wówczas współrzędne i indywidualnie muszą być normalne (oczywiście to wszystko mówi luźno).X Y(X,Y)XY

Aby zobaczyć, dlaczego działa intuicyjny bit, spójrz na

[cos45sin45sin45cos45][xy]=12[xyx+y]
użytkownik1108
źródło
3
Jay - jest to w zasadzie ponowne stwierdzenie niezależności średniej i wariancji. to przeskalowana średnia, a to przeskalowane odchylenie standardowe. X - YX+YXY
probabilityislogic
5
@probabilityislogic - podoba mi się intuicja tego, co powiedziałeś, ale nie sądzę, że jest to dokładnie powtórzenie, ponieważ nie jest dokładnie przeskalowaniem SD: SD zapomina znaku. Zatem niezależność średniej i SD wynika z niezależności , (gdy ), ale nie na odwrót. To mogło być to, co miałeś na myśli „w zasadzie”. W każdym razie to dobre rzeczy. X + Y X - Y n = 2XYX+YXYn=2
4
Gdzie możemy znaleźć dowód na tę nieruchomość?
Royi
1
@ Royi patrz 16. tutaj . W przypadku (a) zwróć uwagę, że . Za (b) zwróć uwagę, że który tęskni za zamianą z którego otrzymujesz . Jeśli , to , stąd dla wszystkich , i istnieje sekwencja taka, że i dla wszystkich , co jest sprzeczne z ciągłością przyφ ( 2 t ) φ ( - 2 t ) = ( φ ( t ) φ ( - t ) ) 4 ψ ( t ) = φ ( t ) φ ( - t ) ψ ( t ) = ψ 2 2 n2X=(X+Y)+(XY)φ(2t)φ(2t)=(φ(t)φ(t))4ψ(t)=φ(t)φ(t)φ(t0)=0ψ(t0)=0nψ(t0ψ(t)=ψ22n(t2n)φ(t0)=0ψ(t0)=0ntntn0φ(tn)=0nφ0ψ(t02n)=0tntn0φ(tn)=0nφ0. (c) jest prosty [ciąg dalszy]
Gabriel Romon
1
Dla (d), . Zauważ, że , stąd . Podłącz to do poprzedniej równości i udowodnij, że dla ustalonego , co oznacza dla wszystkich . Oznacza to, że jest prawdziwe, a równość w (a) zamienia się w to, o co pytamy. Ponownie udowodnij, że i użyj aby uzyskać . Stąd iφ(t)=1-t2γ(t)=γ2n(t2n)φ(t)=1t22+o(t2)γ(t)=1+o(t2)tlimnγ2n(t2n)=1γ(t)=1tφφ(t)=φ22n(t2n)φ(t)=1t22+o(t2)limnφ22n(t2n)=et2/2φ(t)=et2/2X jest normalny.
Gabriel Romon
27

Rozkład ciągły ze stałą wariancją, który maksymalizuje entropię różnicową, jest rozkładem Gaussa.

shabbychef
źródło
22

Napisano o tym całą książkę: „Charakterystyka normalnego prawdopodobieństwa”, AM Mathai i G. Perderzoli. Krótki przegląd w JASA (grudzień 1978) wymienia następujące kwestie :

Niech będą niezależnymi zmiennymi losowymi. Wtedy i są niezależne, gdzie , jeśli i tylko jeśli [są] normalnie dystrybuowane.X1,,Xni=1naixii=1nbixiaibi0Xi

whuber
źródło
3
musi istnieć warunek taki jak ? na przykład, jeśli n = 2 i nie są niezależne. <a,b>=0ai=bi=1 X1+X2X1+X2
robin girard
1
@robin dobry połów. Zastanawiam się także nad ukrytymi kwantyfikatorami. Niestety, mam tylko dostęp do tego (wstrząsającego) cytatu z recenzji, a nie z książki. Byłoby fajnie znaleźć go w bibliotece i przeglądać ...
whuber
To wydaje się uogólnieniem odpowiedzi G. Jaya Kernsa (obecnie nr 1).
vqv,
Myślę, że może szukasz gazety Lukacs & King (1954). Zobacz tę odpowiedź na stronie math.SE z linkiem do wyżej wymienionej pracy.
kardynał
2
Gdzie ta propozycja mówi „gdzie ”, czy oznacza to KAŻDY zestaw skalarów, gdzie ? Nienawidzę patrzenia na „gdzie” zamiast „dla każdego” lub „dla niektórych”. Gdzie „należy użyć do wyjaśnienia swojej notacji, jak w„ gdzie jest prędkością światła jest produktem krajowym brutto ”itp.aibi0aibi0cg
Michael Hardy
17

Rozkłady Gaussa to jedyne rozkłady stabilne sumowo ze skończoną wariancją.

shabbychef
źródło
8
To, że są stabilne sumarycznie i że są wyjątkowe ze skończoną wariancją, jest narzucone nam przez CLT. Interesującą częścią tego twierdzenia jest to, że istnieją inne rozkłady stabilne sumowo!
whuber
1
@whuber: rzeczywiście! ta charakterystyka jest nieco zniekształcona, a inne rozkłady stabilne sumowo są być może bardziej interesujące.
shabbychef
@ Whuber, właściwie nie rozumiem, w jaki sposób CLT implikuje ten fakt. Wydaje się nam tylko mówić, że asymptotycznie suma normalnych jest normalna, a nie, że jakakolwiek suma skończona jest normalnie rozłożona. A może musisz w jakiś sposób wykorzystać twierdzenie Słuckiego?
shabbychef
3
Przyjmując zwykłą normalizację, suma dwóch normalnych jest sumą jednego rozkładu normalnego X_0 plus ograniczającego rozkładu szeregu X_1, X_2, ..., skąd suma jest rozkładem granicznym X_0, X_1, ... przez Lindeberg-Levy CLT jest normalny.
whuber
17

Lemma Steina zapewnia bardzo przydatną charakterystykę. jest standardowym gaussowskim iff dla wszystkich absolutnie ciągłych funkcji z .Z

Ef(Z)=EZf(Z)
fE|f(Z)|<
vqv
źródło
12

Twierdzenie [Herschel-Maxwell]: Niech będzie wektorem losowym, dla którego (i) rzuty na podprzestrzenie ortogonalne są niezależne i (ii) rozkład zależy tylko od długości. Wtedy jest zwykle dystrybuowane.ZRnZZZ

Cytowany przez George'a Cobba w „ Teaching Statistics”: Niektóre ważne napięcia (chilijskie J. Statistics Vol. 2, nr 1, kwiecień 2011) na str. 54

Cobb używa tej charakterystyka jako punkt wyjścia dla uzyskania , i rozkładu bez użycia Calculus (lub wiele teorii prawdopodobieństwa).χ2tF

whuber
źródło
9

Niech i będą dwiema niezależnymi zmiennymi losowymi o wspólnym rozkładzie symetrycznym, takim jakηξ

P(|ξ+η2|t)P(|ξ|t).

Zatem te zmienne losowe są gaussowskie. (Oczywiście, jeśli i są wyśrodkowane gaussowskie, to prawda.)ξη

To jest twierdzenie Bobkova-Houdre'a

robin girard
źródło
9

To nie jest charakterystyka, ale przypuszczenie, które pochodzi z 1917 roku i wynika z Cantelli:

Jeśli jest funkcją dodatnią na a i są losowymi zmiennymi niezależnymi od tak że jest normalne, to jest stałą prawie wszędzie.fRXYN(0,1)X+f(X)Yf

Wymienione przez Gérarda Letac tutaj .

Did
źródło
dobrze, że o tym wspominasz! Nie mogę zrozumieć intuicji, prawda?
robin girard
@robin To sprawia, że ​​ta hipoteza jest tak wyjątkowa: całkowicie elementarne stwierdzenie, niektóre oczywiste podejścia, które zawodzą żałośnie (charakterystyczne funkcje), i nie pozostaje nic do uchwycenia ... Nawiasem mówiąc, należy postawić na prawdziwość hipotezy czy fałsz? Nawet to nie jest oczywiste (dla mnie).
Czy
2
Jeśli Gérard Letac nie zdoła tego udowodnić, może pozostawać otwartą hipotezą przez dłuższy czas ...!
Xi'an
@ Xi'an: Oczywiście w pełni się zgadzam. (Nie wiedziałem, że wędrujesz w tych częściach internetu ... Dobra wiadomość, że jesteś.)
Czy
6
@ Xi'an Oto preprint Victora Kleptsyna i Aline Kurtzmann z kontrprzykładem do hipotezy Cantelli. Konstrukcja wykorzystuje nowe narzędzie, które autorzy nazywają transportem masowym Browna, i daje nieciągłą funkcję . Autorzy twierdzą, że uważają, że hipoteza Cantellego obowiązuje, jeśli ktoś zapyta, że jest ciągła (ich jest mieszaniną dwóch ciągłych funkcji). ff
Czy
8

Załóżmy, że jeden szacuje parametr lokalizacji przy użyciu danych identyfikatora . Jeśli jest estymatorem największej wiarygodności, wówczas rozkład próbkowania jest gaussowski. Według teorii prawdopodobieństwa Jaynesa : Logika nauki str. 202-4, tak pierwotnie Gauss ją wyprowadził.{x1,...,xn}x¯

Cyjan
źródło
Nie jestem pewien, czy rozumiem to jako charakterystykę normalnego rozkładu, więc prawdopodobnie czegoś mi brakuje. Co jeśli mielibyśmy dane Poissona i chcieliśmy oszacować ? MLE to ale rozkład próbkowania nie jest gaussowski - po pierwsze, musi być racjonalny; po drugie, gdyby był Gaussowski, to byłby ale to jest . μx¯x¯x¯xiPoisson(nμ)
Silverfish,
2
Średnia Poissona nie jest parametrem lokalizacji!
kjetil b halvorsen
6

Bardziej szczegółową charakterystykę rozkładu normalnego w klasie rozkładów nieskończenie podzielnych przedstawiono w Steutel i Van Harn (2004) .

Nie-zdegenerowana nieskończenie podzielna losowa zmienna ma rozkład normalny wtedy i tylko wtedy, gdy spełnia X

lim supxlogP(|X|>x)xlog(x)=.

Ten wynik charakteryzuje rozkład normalny pod względem zachowania ogona.

10525
źródło
1
Krótki dowód podanego limitu wygląda następująco: Jeśli jest standardową normą, to jako , więc . Ale więc wynik jest następujący. Szorstki szkic przypadku Poissona wydaje się wskazywać, że podany limit to , ale nie sprawdziłem tego zbyt dokładnie. XxP(X>x)/φ(x)1xlogP(X>x)logφ(x)+logx02logφ(x)x2λ
kardynał
6

W kontekście wygładzania obrazu (np. Przestrzeni skali ) Gaussian jest jedynym obrotowo symetrycznym separowalnym * jądrem.

To znaczy, jeśli wymagamy gdzie , wówczas symetria rotacyjna wymaga co jest równoważne .

F[x,y]=f[x]f[y]
[x,y]=r[cosθ,sinθ]
Fθ=f[x]f[y]xθ+f[x]f[y]yθ=f[x]f[y]y+f[x]f[y]x=0f[x]xf[x]=f[y]yf[y]=const.
log[f[x]]=cx

Wymaganie, aby było prawidłowym jądrem, wymaga więc stałej dodatniej i wartości początkowej dodatniej, co daje jądro Gaussa.f[x]


* W kontekście rozkładów prawdopodobieństwa separowalne oznacza niezależne, podczas gdy w kontekście filtrowania obrazu pozwala zredukować obliczenie splotu 2D do dwóch zwojów 1D.

GeoMatt22
źródło
2
+1 Ale czy nie wynika to z natychmiastowego zastosowania twierdzenia Herschela-Maxwella w 2D?
whuber
@ whuber Rzeczywiście, jakoś udało mi się przeoczyć twoją odpowiedź, przeglądając ten wątek!
ameba mówi Przywróć Monikę
@ whuber Tak. Nie przeczytałem szczegółowo tego starego wątku i dodawałem tę odpowiedź na żądanie.
GeoMatt22,
1
@amoeba patrz również tutaj .
GeoMatt22,
3

Ostatnio Ejsmont [1] opublikował artykuł z nową charakterystyką Gaussa:

Niech będą niezależnymi losowymi wektorami ze wszystkimi momentami, w których są generowane, i niech statystyki mają rozkład, który zależy tylko od , gdzie i . Zatem są niezależne i mają ten sam rozkład normalny ze średnimi zerowymi i dla .(X1,,Xm,Y) and (Xm+1,,Xn,Z)Xii=1naiXi+Y+Zi=1nai2aiR1m<nXicov(Xi,Y)=cov(Xi,Z)=0i{1,,n}

[1] Ejsmont, Wiktor. „Charakterystyka rozkładu normalnego przez niezależność pary losowych wektorów”. Statystyka i listy prawdopodobieństwa 114 (2016): 1-5.

Daniel
źródło
1
To delikatna i fascynująca charakterystyka. Dziękujemy za ulepszenie tego wątku, udostępniając go!
whuber
1

Jego charakterystyczna funkcja ma taką samą formę jak pdf. Nie jestem pewien innej dystrybucji, która to robi.

Jason
źródło
4
Zobacz moją odpowiedź, aby dowiedzieć się, jak konstruować zmienne losowe, których charakterystyczne funkcje są takie same jak ich pliki pdf.
Dilip Sarwate
-1

Oczekiwanie plus minus odchylenie standardowe są punktami siodłowymi funkcji.

Tal Galili
źródło
11
Jest to z pewnością właściwość rozkładu Normalnego, ale nie charakteryzuje go, ponieważ wiele innych dystrybucji ma również tę właściwość.
whuber