Ktoś zadał mi to pytanie podczas rozmowy kwalifikacyjnej, a ja odpowiedziałem, że ich wspólna dystrybucja jest zawsze gaussowska. Myślałem, że zawsze potrafię napisać dwuwymiarowy gaussowski za pomocą jego środków, wariancji i kowariancji. Zastanawiam się, czy może istnieć przypadek, w którym łączne prawdopodobieństwo dwóch Gaussów nie jest Gaussowskie?
91
Odpowiedzi:
Dwuwymiarowy rozkład normalny jest wyjątkiem , a nie regułą!
Ważne jest, aby uznać, że „prawie wszystkie” wspólne rozkłady z normalnymi marginesami nie są dwuwymiarowym rozkładem normalnym. To znaczy, wspólny punkt widzenia, że wspólne rozkłady z normalnymi marginesami, które nie są dwuwymiarowe normalne, są w jakiś sposób „patologiczne”, jest nieco błędne.
Z pewnością normalna wielowymiarowa jest niezwykle ważna ze względu na jej stabilność przy liniowych przekształceniach, dlatego jest bardzo ważna w aplikacjach.
Przykłady
Warto zacząć od kilku przykładów. Poniższy rysunek zawiera mapy cieplne sześciu rozkładów dwuwymiarowych, z których wszystkie mają standardowe normalne marginesy. Lewy i środkowy w górnym rzędzie są dwuwymiarowymi normami, pozostałe nie są (jak powinno być oczywiste). Są one opisane poniżej.
Nagie kości kopuł
Własności zależności są często skutecznie analizowane za pomocą kopuł . Dwuwymiarowe kopuła jest tylko nazwa dla rozkładu prawdopodobieństwa na kwadrat jednostki z jednolitymi uzupełnieniach.[0,1]2
Załóżmy, że jest kopią dwuwymiarową. Następnie, bezpośrednio z powyższego, wiemy, że na przykład , oraz .C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = vC(u,v) C(u,v)≥0 C(u,1)=u C(1,v)=v
Możemy konstruować dwuwymiarowe zmienne losowe na płaszczyźnie euklidesowej z uprzednio określonymi marginesami poprzez prostą transformację dwuwymiarowej kopuły. Niech i zostaną krańcowym dla pary zmiennych losowych . Zatem, jeśli jest , jest funkcją rozkładu dwuwymiarowego z marginesami i . Aby zobaczyć ten ostatni fakt, pamiętaj, że Ten sam argument działa dla .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F 2F1 F2 (X,Y) C(u,v)
Do ciągłego i , twierdzenie Sklár za twierdzi odwrotnym sugerując niepowtarzalność. To znaczy, biorąc pod uwagę dwuwymiarowy rozkład z ciągłymi marginesami , , odpowiednia jest unikalna (w odpowiedniej przestrzeni zakresu).F1 F2 F(x,y) F1 F2
Dwuwymiarowa normalna jest wyjątkowa
Twierdzenie Sklara mówi nam (zasadniczo), że istnieje tylko jedna kopuła, która wytwarza dwuwymiarowy rozkład normalny. Jest to trafnie nazwana kopuła Gaussa, która ma gęstość na gdzie licznik jest dwuwymiarowym rozkładem normalnym z korelacją ocenioną w i .[0,1]2
Ale istnieje wiele innych kopuł i wszystkie z nich dadzą dwuwymiarowy rozkład z normalnymi marginesami, który nie jest dwuwymiarową normalną przy użyciu transformacji opisanej w poprzedniej sekcji.
Kilka szczegółów na temat przykładów
Zauważ, że jeśli jest dowolną kopulą o gęstości , to odpowiednia gęstość dwuwymiarowa ze standardowymi normalnymi marginesami przy transformacji toC(u,v) c(u,v) F(x,y)=C(Φ(x),Φ(y))
Zauważ, że stosując kopułę Gaussa w powyższym równaniu, odzyskujemy dwuwymiarową gęstość normalną. Ale dla każdego innego wyboru nie zrobimy tego.c(u,v)
Przykłady na rysunku skonstruowano w następujący sposób (w poprzek każdego wiersza, po jednej kolumnie na raz):
źródło
library(copula)
kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE)))
# force normal margins
evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1)))
contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))
Prawdą jest, że każdy element wielowymiarowego wektora normalnego jest normalnie rozłożony i można wywnioskować ich średnie i wariancje. Nie jest jednak prawdą, że dwie dowolne zmienne losowe z Guassian są zwykle normalnie rozdzielane wspólnie. Oto przykład:
Edycja: W odpowiedzi na konsensus, że zmienna losowa, która jest masą punktową, może być uważana za zmienną o rozkładzie normalnym z , zmieniam mój przykład.σ2=0
Niech i niech gdzie jest zmienną losową . Oznacza to, że każdy z prawdopodobieństwem .X∼N(0,1) Y=X⋅(2B−1) B Bernoulli(1/2) Y=±X 1/2
Najpierw pokazujemy, że ma standardowy rozkład normalny.Y Przez prawie całkowitego prawdopodobieństwa ,
Kolejny,
gdzie jest standardowym normalnym CDF . Podobnie,Φ
W związku z tym,
więc CDF z to , a więc .Y Φ(⋅) Y∼N(0,1)
Teraz pokazujemy, że nie są wspólnie rozkładem normalnie.X,Y Jak wskazuje @cardinal, jedną z charakterystyk wielowymiarowej normy jest to, że każda liniowa kombinacja jej elementów jest normalnie rozłożona. nie mają tej właściwości, ponieważX,Y
Dlatego jest mieszaniną losowej zmiennej i masy punktowej w punkcie 0, dlatego nie można normalnie rozkładać.Y+X 50/50 N(0,4)
źródło
Poniższy post zawiera zarys dowodu, aby przedstawić główne pomysły i zacząć.
Niech będzie dwiema niezależnymi losowymi zmiennymi Gaussa i niech będziez=(Z1,Z2) x=(X1,X2)
Każdy , ale ponieważ oba są liniowymi kombinacjami tego samego niezależnego r.vs, są one wspólnie zależne.Xi∼N(μi,σ2i)
Definicja Mówi się, że para r.vs jest dwuwymiarową normalnie rozłożoną, jeżeli można zapisać jako kombinację liniową niezależnej normalnej r.vs .x=(X1,X2) x=Az z=(Z1,Z2)
Lemma Jeśli jest dwuwymiarową gaussowską, to każda inna ich liniowa kombinacja jest znowu normalną zmienną losową.x=(X1,X2)
Dowód . Trywialne, pominięte, aby nikogo nie urazić.
Właściwość Jeśli są nieskorelowane, to są one niezależne i odwrotnie.X1,X2
DystrybucjaX1|X2
Załóżmy że są tymi samymi r.v Gaussa jak poprzednio, ale załóżmy, że mają dodatnią wariancję i zerową średnią dla uproszczenia.X1,X2
Jeśli jest podprzestrzenią rozpiętą przez , niech i .S X2 XS1=ρσX1σX2X2 XS⊥1=X1−XS1
Rozkład dla
Następnie
Dwie jednowymiarowe zmienne losowe Gaussa są łącznie gaussowskie, jeśli warunki warunkowe i są również gaussowskie.X,Y X|Y Y|X
źródło