Czy można mieć parę losowych zmiennych Gaussa, dla których rozkład połączeń nie jest Gaussowski?

91

Ktoś zadał mi to pytanie podczas rozmowy kwalifikacyjnej, a ja odpowiedziałem, że ich wspólna dystrybucja jest zawsze gaussowska. Myślałem, że zawsze potrafię napisać dwuwymiarowy gaussowski za pomocą jego środków, wariancji i kowariancji. Zastanawiam się, czy może istnieć przypadek, w którym łączne prawdopodobieństwo dwóch Gaussów nie jest Gaussowskie?

MarkSAlen
źródło
4
Kolejny przykład z Wikipedii . Oczywiście, jeśli zmienne są niezależne i marginalnie gaussowskie, to są one łącznie gaussowskie.
2
Przykład tutaj wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf
Stéphane Laurent

Odpowiedzi:

138

Dwuwymiarowy rozkład normalny jest wyjątkiem , a nie regułą!

Ważne jest, aby uznać, że „prawie wszystkie” wspólne rozkłady z normalnymi marginesami nie są dwuwymiarowym rozkładem normalnym. To znaczy, wspólny punkt widzenia, że ​​wspólne rozkłady z normalnymi marginesami, które nie są dwuwymiarowe normalne, są w jakiś sposób „patologiczne”, jest nieco błędne.

Z pewnością normalna wielowymiarowa jest niezwykle ważna ze względu na jej stabilność przy liniowych przekształceniach, dlatego jest bardzo ważna w aplikacjach.

Przykłady

Warto zacząć od kilku przykładów. Poniższy rysunek zawiera mapy cieplne sześciu rozkładów dwuwymiarowych, z których wszystkie mają standardowe normalne marginesy. Lewy i środkowy w górnym rzędzie są dwuwymiarowymi normami, pozostałe nie są (jak powinno być oczywiste). Są one opisane poniżej.

Przykłady rozkładu dwuwymiarowego ze standardowymi marginesami normalnymi.

Nagie kości kopuł

Własności zależności są często skutecznie analizowane za pomocą kopuł . Dwuwymiarowe kopuła jest tylko nazwa dla rozkładu prawdopodobieństwa na kwadrat jednostki z jednolitymi uzupełnieniach.[0,1]2

Załóżmy, że jest kopią dwuwymiarową. Następnie, bezpośrednio z powyższego, wiemy, że na przykład , oraz .C ( u , v ) 0 C ( u , 1 ) = u C ( 1 , v ) = vC(u,v)C(u,v)0C(u,1)=uC(1,v)=v

Możemy konstruować dwuwymiarowe zmienne losowe na płaszczyźnie euklidesowej z uprzednio określonymi marginesami poprzez prostą transformację dwuwymiarowej kopuły. Niech i zostaną krańcowym dla pary zmiennych losowych . Zatem, jeśli jest , jest funkcją rozkładu dwuwymiarowego z marginesami i . Aby zobaczyć ten ostatni fakt, pamiętaj, że Ten sam argument działa dla .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F 2F1F2(X,Y)C(u,v)

F(x,y)=C(F1(x),F2(y))
F1F2
P(Xx)=P(Xx,Y<)=C(F1(x),F2())=C(F1(x),1)=F1(x).
F2

Do ciągłego i , twierdzenie Sklár za twierdzi odwrotnym sugerując niepowtarzalność. To znaczy, biorąc pod uwagę dwuwymiarowy rozkład z ciągłymi marginesami , , odpowiednia jest unikalna (w odpowiedniej przestrzeni zakresu).F1F2F(x,y)F1F2

Dwuwymiarowa normalna jest wyjątkowa

Twierdzenie Sklara mówi nam (zasadniczo), że istnieje tylko jedna kopuła, która wytwarza dwuwymiarowy rozkład normalny. Jest to trafnie nazwana kopuła Gaussa, która ma gęstość na gdzie licznik jest dwuwymiarowym rozkładem normalnym z korelacją ocenioną w i .[0,1]2

cρ(u,v):=2uvCρ(u,v)=φ2,ρ(Φ1(u),Φ1(v))φ(Φ1(u))φ(Φ1(v)),
ρΦ1(u)Φ1(v)

Ale istnieje wiele innych kopuł i wszystkie z nich dadzą dwuwymiarowy rozkład z normalnymi marginesami, który nie jest dwuwymiarową normalną przy użyciu transformacji opisanej w poprzedniej sekcji.

Kilka szczegółów na temat przykładów

Zauważ, że jeśli jest dowolną kopulą o gęstości , to odpowiednia gęstość dwuwymiarowa ze standardowymi normalnymi marginesami przy transformacji to C(u,v)c(u,v)F(x,y)=C(Φ(x),Φ(y))

f(x,y)=φ(x)φ(y)c(Φ(x),Φ(y)).

Zauważ, że stosując kopułę Gaussa w powyższym równaniu, odzyskujemy dwuwymiarową gęstość normalną. Ale dla każdego innego wyboru nie zrobimy tego.c(u,v)

Przykłady na rysunku skonstruowano w następujący sposób (w poprzek każdego wiersza, po jednej kolumnie na raz):

  1. Dwuczynnikowa normalna z niezależnymi komponentami.
  2. Dwuczynnikowa normalna z .ρ=0.4
  3. Przykładzie podanym w tej odpowiedzi z Dilip Sarwate . Można to łatwo zaobserwować jako indukowane przez kopułę o gęstości .C(u,v)c(u,v)=2(1(0u1/2,0v1/2)+1(1/2<u1,1/2<v1))
  4. Wygenerowano z kopuły Franka z parametrem .θ=2
  5. Wygenerowano z kopuły Clayton z parametrem .θ=1
  6. Wygenerowano z asymetrycznej modyfikacji kopuły Claytona za pomocą parametru .θ=3
kardynał
źródło
7
+1 za uwagę, że dwuwymiarowa normalna gęstość jest wyjątkowym przypadkiem!
Dilip Sarwate
Być może coś mi brakuje, ale jeśli zaczniemy od , rozkład połączeń jest automatycznie definiowany, niezależnie od konstrukcji kopuły, i jeśli zastosujemy Konstrukcja kopuły gaussowskiej do ich CDF, to prawda, że ​​otrzymamy niegaussowski CDF , ale ogólnie ta funkcja nie będzie CDF pary losowych zmiennych których zaczęliśmy, prawda ? X1,X2N(0,1)(X1,X2)F(x1,x2)X,X2
RandomGuy
Przykład symulacji jak w prawym dolnym panelu: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))
połowie przejścia
1
@RandomGuy, brakuje Ci nieokreślonego założenia, że . Jeśli zakładasz, że są niezależne, to tak, znasz już wspólną dystrybucję. Bez założenia niezależności znajomość rozkładów krańcowych nie daje wystarczających informacji do określenia rozkładu wspólnego. X1,X2independentN(0,1)
MentatOfDune
25

Prawdą jest, że każdy element wielowymiarowego wektora normalnego jest normalnie rozłożony i można wywnioskować ich średnie i wariancje. Nie jest jednak prawdą, że dwie dowolne zmienne losowe z Guassian są zwykle normalnie rozdzielane wspólnie. Oto przykład:

Edycja: W odpowiedzi na konsensus, że zmienna losowa, która jest masą punktową, może być uważana za zmienną o rozkładzie normalnym z , zmieniam mój przykład.σ2=0


Niech i niech gdzie jest zmienną losową . Oznacza to, że każdy z prawdopodobieństwem .XN(0,1)Y=X(2B1)BBernoulli(1/2)Y=±X1/2

Najpierw pokazujemy, że ma standardowy rozkład normalny. YPrzez prawie całkowitego prawdopodobieństwa ,

P(Yy)=12(P(Yy|B=1)+P(Yy|B=0))

Kolejny,

P(Yy|B=0)=P(Xy)=1P(Xy)=1Φ(y)=Φ(y)

gdzie jest standardowym normalnym CDF . Podobnie,Φ

P(Yy|B=1)=P(Xy)=Φ(y)

W związku z tym,

P(Yy)=12(Φ(y)+Φ(y))=Φ(y)

więc CDF z to , a więc .YΦ()YN(0,1)

Teraz pokazujemy, że nie są wspólnie rozkładem normalnie. X,YJak wskazuje @cardinal, jedną z charakterystyk wielowymiarowej normy jest to, że każda liniowa kombinacja jej elementów jest normalnie rozłożona. nie mają tej właściwości, ponieważX,Y

Y+X={2Xif B=10if B=0.

Dlatego jest mieszaniną losowej zmiennej i masy punktowej w punkcie 0, dlatego nie można normalnie rozkładać.Y+X50/50N(0,4)

Makro
źródło
4
Nie zgadzam się z tą odpowiedzią. Zdegenerowana masa punktowa at jest zwykle uważana za zdegenerowaną zmienną losową Gaussa o zerowej wariancji. Ponadto, nie są łącznie ciągłe, chociaż są nieznacznie ciągłe. Przykład dwóch wspólnie losowych zmiennych losowych, które są nieznacznie gaussowskie, ale nie łącznie gaussowskie, patrz na przykład druga połowa tej odpowiedzi . 1μ(X,X)
Dilip Sarwate
4
@DilipSarwate, pytanie polegało na podaniu przykładu (jeśli taki istnieje) dwóch zmiennych, które są normalnie rozmieszczone, ale ich łączny rozkład nie jest normalny na wielu odmianach. To jest przykład. Większość standardowych definicji rozkładu normalnego (np. Wikipedia en.wikipedia.org/wiki/Normal_distribution ) wymaga, aby wariancja była ściśle dodatnia, a zatem nie obejmowała masy punktowej jako części rodziny rozkładów normalnych.
Makro
4
Standardową charakterystyką wielowymiarowego Gaussa jest to, że jest wielowymiarowym gaussowskim wtedy i tylko wtedy, jest gaussowski dla wszystkich . Jak wskazuje @Dilip, warto zastanowić się, czy to prawda w twoim przykładzie. XRnaTXaRn
kardynał
6
Ponieważ najwyraźniej nie lubisz odwoływania się do racjonalności ;-), co powiesz na apele do władzy? (To żart, jeśli nie jest to oczywiste.) Zdarzyło mi się to zupełnie przypadkowo, gdy szukałem czegoś innego: Przykład 2.4 , strona 22 GAF Seber i AJ Lee, Analiza regresji liniowej , 2. miejsce. wyd., Wiley. Cytuje: „Niech i wstaw ... Zatem ma wielowymiarowy rozkład normalny.” YN(μ,σ2)Y=(Y,Y)Y
kardynał
5
Dyskusja dotyczy definicji. Oczywiście, jeśli macierz kowariancji z definicji musi być niepodzielna, Makro stanowi przykład, ale nie jest to przykład zgodny z bardziej liberalną definicją, do której odnosi się również @cardinal. Jednym z dobrych powodów, aby preferować bardziej liberalną definicję, jest to, że wszystkie liniowe transformacje zmiennych normalnych są normalne. W szczególności w regresji liniowej z błędami normalnymi reszty mają wspólny rozkład normalny, ale macierz kowariancji jest pojedyncza.
NRH,
5

Poniższy post zawiera zarys dowodu, aby przedstawić główne pomysły i zacząć.

Niech będzie dwiema niezależnymi losowymi zmiennymi Gaussa i niech będzie z=(Z1,Z2)x=(X1,X2)

x=(X1X2)=(α11Z1+α12Z2α21Z1+α22Z2)=(α11α12α21α22)(Z1Z2)=Az.

Każdy , ale ponieważ oba są liniowymi kombinacjami tego samego niezależnego r.vs, są one wspólnie zależne.XiN(μi,σi2)

Definicja Mówi się, że para r.vs jest dwuwymiarową normalnie rozłożoną, jeżeli można zapisać jako kombinację liniową niezależnej normalnej r.vs .x=(X1,X2)x=Azz=(Z1,Z2)

Lemma Jeśli jest dwuwymiarową gaussowską, to każda inna ich liniowa kombinacja jest znowu normalną zmienną losową.x=(X1,X2)

Dowód . Trywialne, pominięte, aby nikogo nie urazić.

Właściwość Jeśli są nieskorelowane, to są one niezależne i odwrotnie.X1,X2

DystrybucjaX1|X2

Załóżmy że są tymi samymi r.v Gaussa jak poprzednio, ale załóżmy, że mają dodatnią wariancję i zerową średnią dla uproszczenia.X1,X2

Jeśli jest podprzestrzenią rozpiętą przez , niech i .SX2X1S=ρσX1σX2X2X1S=X1X1S

X1 i są liniowymi kombinacjami , więc też są. Są wspólnie gaussowscy, nieskorelowani (udowodnij to) i niezależni.X2zX2,X1S

Rozkład dla

X1=X1S+X1S
E[X1|X2]=ρσX1σX2X2=X1S

V[X1|X2]=V[X1S]=E[X1ρσX1σX2X2]2=(1ρ)2σX12.

Następnie

X1|X2N(X1S,(1ρ)2σX12).

Dwie jednowymiarowe zmienne losowe Gaussa są łącznie gaussowskie, jeśli warunki warunkowe i są również gaussowskie.X,YX|YY|X

pomocniczy
źródło
2
Nie wiadomo, w jaki sposób ta obserwacja odpowiada na pytanie. Ponieważ reguła produktu jest praktycznie definicją rozkładu warunkowego, nie jest szczególna dla rozkładów dwumianowych. Kolejne stwierdzenie „wtedy w kolejności ...” nie podaje żadnego powodu: dokładnie dlaczego dystrybucje warunkowe również muszą być normalne?
whuber
Whuber, odpowiadam na główne pytanie: „Zastanawiam się, czy może istnieć przypadek, w którym łączne prawdopodobieństwo dwóch Gaussów nie jest Gaussowskie?”. Tak więc odpowiedź brzmi: kiedy warunkowe nie jest normalne. - Pomocniczy
pomocniczy
2
Czy możesz ukończyć tę demonstrację? W tej chwili jest to tylko stwierdzenie z twojej strony, bez dowodu. Wcale nie jest oczywiste, że to prawda. To również niepełne, ponieważ trzeba wykazać istnienie, to znaczy, trzeba wykazać, że to rzeczywiście możliwe do wspólnej dystrybucji mieć normalne marginesowymi ale dla których co najmniej jeden warunkowy nie jest normalne. W rzeczywistości jest to trywialnie prawdziwe, ponieważ możesz swobodnie zmieniać każdą warunkową dystrybucję binormalu na zbiorze miary zero bez zmiany jego marginesów - ale taka możliwość wydaje się być sprzeczna z twoimi twierdzeniami.
whuber
Cześć @ whuber, mam nadzieję, że to pomoże więcej. Czy masz jakieś sugestie lub zmiany do zrobienia? Napisałem to bardzo szybko, ponieważ w tej chwili nie mam dużo wolnego czasu :-), ale cenię sobie wszelkie sugestie lub ulepszenia, które możesz wprowadzić. Najlepszy
pomocniczy
(1) Co próbujesz udowodnić? (2) Ponieważ pytanie dotyczy tego, kiedy rozkład z marginesami gaussowskimi nie jest łącznie gaussowski, nie rozumiem, w jaki sposób ten argument prowadzi do czegokolwiek istotnego.
whuber