Związany z korelacją trzech zmiennych losowych

28

Istnieją trzy losowe zmienne, x,y,z . Trzy korelacje między trzema zmiennymi są takie same. To jest,

ρ=cor(x,y)=cor(x,z)=cor(y,z)

Jaka jest najściślejsza granica, jaką możesz dla ρρ ?

użytkownik1352399
źródło
1
Prawdopodobnie przez „pho” masz na myśli rho ( ρ ). Twoje pytanie nie jest jednak jasne. Co rozumiesz przez „jaka jest najściślejsza granica, jaką możesz dać”?
Gung - Przywróć Monikę
Cóż, nazwa zmiennej jest tylko manekinem. Przez najściślejsze ograniczenie rozumiem coś takiego jak [-1, 1] dla korelacji, ale najwyraźniej nie jest to najściślejsza możliwa granica.
user1352399,
Czy masz na myśli, że rho = cor (x, y) = cor (x, z) = cor (y, z) i jakie są granice dla rho?
user31264 15.10.13
Tak Mam na myśli, że rho = cor (x, y) = cor (x, z) = cor (y, z) i jakie są granice rho. Dilip, czy możesz to rozszerzyć, aby powiedzieć, że rho musi być nieujemne, tj.> = 0?
user1352399,
1
Podręcznikiem do cytowania jest „Analiza regresji liniowej” Sebera i Lee (przynajmniej w pierwszym wydaniu ...)
kjetil b halvorsen

Odpowiedzi:

29

Wspólna korelacja ρ może mieć wartość +1 ale nie 1 . Jeśli ρX,Y=ρX,Z=1 , to ρY,Z nie może być równe 1 ale w rzeczywistości wynosi +1 . Najmniejszą wartością wspólnej korelacji trzech zmiennych losowych jest 12 . Mówiąc bardziej ogólnie, minimalna wspólna korelacjanzmiennych losowych wynosi1n1 gdy traktowane jako wektory, znajdują się na wierzchołkach simpleksu (o wymiarzen1) wprzestrzeninwymiarowej.

Rozważ wariancję sumy zmiennych losowych n jednostek wariancji Xi . Mamy to gdzie ˉ ń jestwartość średniazwspółczynniki korelacji. Ale ponieważ, łatwo otrzymujemy z że

var(i=1nXi)=i=1nvar(Xi)+i=1njincov(Xi,Xj)=n+i=1njinρXi,Xj(1)=n+n(n1)ρ¯
ρ¯(n2)var(iXi)0(1)
ρ¯1n1.

Tak więc średnia wartość współczynnika korelacji wynosi co najmniej . Jeśli wszystkie współczynniki korelacji mają tę samą wartość , to ich średnia również jest równa a więc mamy to Czy możliwe są zmienne losowe, dla których wspólna wartość korelacji jest równa ? Tak. Załóżmy, że są nieskorelowanymi zmiennymi losowymi wariancji jednostek i . Następnie , podczas gdy 1n1ρρ

ρ1n1.
ρ 1n1XiYi=Xi1nj=1nXj=XiX¯E[Yi]=0
var(Yi)=(n1n)2+(n1)(1n)2=n1n
i dając Zatem są zmiennymi losowymi, osiągającymi minimalną wspólną wartość korelacji . Zauważmy, przy okazji, że , a więc, uważane za wektory, zmienne losowe leżą w -płaszczyznowej hiperpłaszczyźnie
cov(Yi,Yj)=2(n1n)(1n)+(n2)(1n)2=1n
ρYi,Yj=cov(Yi,Yj)var(Yi)var(Yj)=1/n(n1)/n=1n1.
Yi1n1iYi=0(n1)n-wymiarowa przestrzeń.
Dilip Sarwate
źródło
25

Najściślejsza możliwa granica to . 1/2ρ1 Wszystkie takie wartości mogą się faktycznie pojawić - żadne nie jest niemożliwe.

Aby pokazać, że w wyniku nie ma nic szczególnie głębokiego lub tajemniczego, ta odpowiedź najpierw przedstawia całkowicie elementarne rozwiązanie, wymagające jedynie oczywistego faktu, że wariancje - będące oczekiwanymi wartościami kwadratów - muszą być nieujemne. Po tym następuje ogólne rozwiązanie (które wykorzystuje nieco bardziej wyrafinowane fakty algebraiczne).

Podstawowe rozwiązanie

Wariancja dowolnej liniowej kombinacji musi być nieujemna. x,y,z Niech wariancje tych zmiennych wynoszą odpowiednio i . Wszystkie są niezerowe (w przeciwnym razie niektóre korelacje nie zostałyby zdefiniowane). Korzystając z podstawowych właściwości wariancji, możemy obliczyćσ2,τ2,υ2

0Var(αx/σ+βy/τ+γz/υ)=α2+β2+γ2+2ρ(αβ+βγ+γα)

dla wszystkich liczb rzeczywistych .(α,β,γ)

Zakładając , mała manipulacja algebraiczna implikuje, że jest to równoważne zα+β+γ0

ρ1ρ13((α2+β2+γ2)/3(α+β+γ)/3)2.

Kwadrat po prawej stronie to stosunek dwóch średnich mocy . Elementarna mocy średniej nierówność (z wagą ) zapewnia, że stosunek nie przekracza (i będzie wynosić , gdy ). Trochę więcej algebry to sugeruje(α,β,γ)(1/3,1/3,1/3)11α=β=γ0

ρ1/2.

Wyraźny przykład poniżej (obejmujący trywialne zmienne normalne ) pokazuje, że wszystkie takie wartości, , faktycznie powstają jako korelacje. W tym przykładzie użyto tylko definicji wielowymiarowych normalnych, ale w innym przypadku nie wywołuje wyników rachunku różniczkowego lub algebry liniowej.n=3(x,y,z)1/2ρ1

Ogólne rozwiązanie

Przegląd

Każda macierz korelacji jest macierzą kowariancji znormalizowanych zmiennych losowych, skąd - podobnie jak wszystkie macierze korelacji - musi być dodatnia półokreślona. Odpowiednio jego wartości własne nie są ujemne. Nakłada to prosty warunek na : nie może być mniejszy niż (i oczywiście nie może przekraczać ). Odwrotnie, każda taka rzeczywiście odpowiada macierzy korelacji pewien rozkład trivariate, potwierdzające te granice są możliwie szczelnego.ρ1/21ρ


Wyprowadzenie warunków naρ

Rozważ macierz korelacji na ze wszystkimi wartościami nie przekątnymi równymi(Pytanie dotyczy przypadku ale tej uogólnienia nie jest już trudniej analizować.) Nazwijmy to Z definicji jest wartością własną, pod warunkiem, że istnieje niezerowy wektor taki żennρ.n=3,C(ρ,n).λxλ

C(ρ,n)xλ=λxλ.

Te wartości własne są łatwe do znalezienia w niniejszej sprawie, ponieważ

  1. Letting , oblicz to1=(1,1,,1)

    C(ρ,n)1=(1+(n1)ρ)1.
  2. Niech z tylko w miejscu (dla ), oblicz toyj=(1,0,,0,1,0,,0)1jthj=2,3,,n

    C(ρ,n)yj=(1ρ)yj.

Ponieważ znalezionych wcześniej wektorów własnych obejmuje całą przestrzeń wymiarową (dowód: łatwa redukcja rzędu pokazuje wartość bezwzględną ich wyznacznika równą , która jest niezerowa), stanowią one podstawę wszystkich wektorów własnych. W związku z tym znaleźliśmy wszystkie wartości własne i ustaliliśmy, że są to lub (te ostatnie z wielokrotnością ). Oprócz dobrze znanej nierówności spełniają wszystkie korelacje, brak negatywności pierwszej wartości własnej dodatkowo implikujennn1+(n1)ρ1ρn11ρ1

ρ1n1

podczas gdy brak negatywności drugiej wartości własnej nie stwarza żadnych nowych warunków.


Dowód wystarczalności warunków

Implikacje działają w obu kierunkach: pod warunkiem macierz jest nieujemna i dlatego jest prawidłową macierzą korelacji. Jest to na przykład macierz korelacji dla rozkładu wielomianowego. W szczególności pisz1/(n1)ρ1,C(ρ,n)

Σ(ρ,n)=(1+(n1)ρ)Inρ(1ρ)(1+(n1)ρ)11

dla odwrotności kiedy Na przykład, gdyC(ρ,n)1/(n1)<ρ<1.n=3

Σ(ρ,3)=1(1ρ)(1+2ρ)(ρ+1ρρρρ+1ρρρρ+1).

Niech wektor zmiennych losowych ma funkcję rozkładu(X1,X2,,Xn)

fρ,n(x)=exp(12xΣ(ρ,n)x)(2π)n/2((1ρ)n1(1+(n1)ρ))1/2

gdzie . Na przykład, gdy jest to równex=(x1,x2,,xn)n=3

1(2π)3(1ρ)2(1+2ρ)exp((1+ρ)(x2+y2+z2)2ρ(xy+yz+zx)2(1ρ)(1+2ρ)).

Macierz korelacji dla tych zmiennych losowych tonC(ρ,n).

Postać

Kontury funkcji gęstości Od lewej do prawej . Zauważ, jak gęstość przesuwa się od koncentracji w pobliżu płaszczyzny do koncentracji w pobliżu linii .fρ,3.ρ=4/10,0,4/10,8/10x+y+z=0x=y=z

Przypadki specjalne i można również zrealizować przez rozkłady zdegenerowane ; Nie będę wchodził w szczegóły, poza zaznaczeniem, że w pierwszym przypadku dystrybucję można uznać za obsługiwaną na hiperpłaszczyźnie , gdzie jest to suma identycznie rozmieszczonych średnich Rozkład normalny, podczas gdy w tym drugim przypadku (idealna korelacja dodatnia) jest obsługiwany na linii generowanej przez , gdzie ma średnią Rozkład normalny.ρ=1/(n1)ρ=1x.1=0010


Więcej o nie-degeneracji

Przegląd tej analizy wyjaśnia, że ​​macierz korelacji ma rangę a ma rangę z (ponieważ tylko jeden wektor własny ma niezerową wartość własną). Dla powoduje to degenerację macierzy korelacji w obu przypadkach. W przeciwnym razie istnienie jego odwrotności dowodzi, że nie jest on generowany.C(1/(n1),n)n1C(1,n)1n2Σ(ρ,n)

Whuber
źródło
20

Twoja macierz korelacji jest

(1ρρρ1ρρρ1)

Macierz jest dodatnia półfinałowa, jeśli wszyscy główni nieletni są nieujemni. Głównymi nieletnimi są wyznaczniki „północno-zachodnich” bloków macierzy, tj. 1, wyznacznik

(1ρρ1)

oraz wyznacznik samej macierzy korelacji.

1 jest oczywiście dodatnia, drugim zasadniczym nieletnim jest , co nie jest ujemne dla żadnej dopuszczalnej korelacji . Wyznacznikiem całej macierzy korelacji jest1ρ2ρ[1,1]

2ρ33ρ2+1.

Wykres pokazuje wyznacznik funkcji w zakresie dopuszczalnych korelacji . [1,1]wprowadź opis zdjęcia tutaj

Widzisz, że funkcja jest nieujemna w zakresie podanym przez @stochazesthai (który możesz również sprawdzić, znajdując pierwiastki równania determinantalnego).

Christoph Hanck
źródło
Czy w Twojej odpowiedzi nie zakładamy, że ? Dlaczego możemy Var()=1
Stary człowiek na morzu.
1
@Anold Wygląda na to, że czytasz „kowariancję”, w której zapisano „korelację”.
whuber
6

Istnieją zmienne losowe , i z parami korelacji tylko wtedy, gdy macierz korelacji jest dodatnia półfinałowa. Dzieje się tak tylko dla .XYZρXY=ρYZ=ρXZ=ρρ[12,1]

stochazesthai
źródło
2
czy możesz to wyjaśnić w bardzo prosty sposób?
Elizabeth Susan Joseph
1
Nie sądzę, aby istniało wyjaśnienie, które nie wymaga znajomości algebry macierzy. Proponuję zajrzeć na stronę Wikipedii ( en.wikipedia.org/wiki/… ).
stochazesthai
4
Znalazłem wyjaśnienie, które wymaga jedynie podstawowej algebry (na poziomie szkoły średniej) i zawarłem je w mojej odpowiedzi.
whuber