Jeśli A i B są skorelowane z C, dlaczego A i B niekoniecznie są skorelowane?

62

Wiem empirycznie, że tak jest. Właśnie opracowałem modele, które wpadają w tę zagadkę. Podejrzewam również, że niekoniecznie jest to odpowiedź tak / nie. Rozumiem przez to, że zarówno A, jak i B są skorelowane z C, może to mieć pewne implikacje dotyczące korelacji między A i B. Ale ta implikacja może być słaba. Może to być tylko znak kierunku i nic więcej.

Oto, co mam na myśli ... Powiedzmy, że zarówno A, jak i B mają korelację 0,5 z C. Biorąc to pod uwagę, korelacja między A i B może wynosić 1,0. Myślę, że może to być również 0,5 lub nawet mniej. Ale myślę, że jest mało prawdopodobne, aby był negatywny. Zgadzasz się z tym?

Czy ma to również wpływ na rozważenie standardowego współczynnika korelacji Pearsona, czy zamiast tego współczynnika korelacji Spearmana (ranga)? Moje ostatnie obserwacje empiryczne były związane ze współczynnikiem korelacji Spearmana.

Sympa
źródło
38
Przykładem jest, aby , i . Możemy i być niezależne, ale obie i są skorelowane (korzystnie Pearson) z . B = Y C = X + Y X Y A B CA=XB=YC=X+YXYABC
1
Dzięki, to naprawdę świetny komentarz. Krótko, ale oddaje istotę przyczyny, dla której tak jest.
Sympa,

Odpowiedzi:

53

Ponieważ korelacja jest matematyczną właściwością rozkładów wielowymiarowych, pewien wgląd można uzyskać wyłącznie poprzez obliczenia, niezależnie od statystycznej genezy tych rozkładów.

Dla korelacji Pearsona , należy rozważyć zmienne multinormal , Y , Z . Przydają się one do pracy, ponieważ każda nieujemna określona macierz faktycznie jest macierzą kowariancji niektórych rozkładów wielomianowych, rozwiązując w ten sposób pytanie o istnienie. Jeśli trzymamy się macierzy z 1 na przekątnej, nieprzekątne wpisy macierzy kowariancji będą ich korelacjami. Zapisywanie korelacji X i Y jako ρ , korelacji Y i Z jako τ oraz korelacji X i σXYZ1XYρYZτX jakoZσobliczamy to

  • (ponieważ jest to wyznacznik macierzy korelacji i nie może być ujemna).1+2ρστ(ρ2+σ2+τ2)0

  • Gdy oznacza to, że ρ 2 + τ 21 . Innymi słowy: gdy zarówno ρ, jak i τ są duże, X i Z muszą mieć niezerową korelację.σ=0ρ2+τ21ρτXZ

  • Jeśli , to dowolna nieujemną wartość Ď (pomiędzy 0 i 1ρ2=τ2=1/2σ01 , oczywiście) jest możliwe.

  • Gdy , dopuszczalne są ujemne wartości σ . Na przykład, gdy ρ = τ = 1 / 2 , σ mogą być w dowolnym miejscu pomiędzy - 1 / 2 i 1 .ρ2+τ2<1σρ=τ=1/2σ1/21

Te rozważania sugerują, że rzeczywiście istnieją pewne ograniczenia we wzajemnych korelacjach. Ograniczenia (które zależą tylko od nieujemnej definitywności macierzy korelacji, a nie od faktycznych rozkładów zmiennych) można zaostrzyć w zależności od założeń dotyczących rozkładów jednowymiarowych. Na przykład łatwo jest zobaczyć (i udowodnić), że gdy rozkłady i Y nie należą do tej samej rodziny o skali lokalizacji, ich korelacje muszą być ściśle mniejsze niż 1 . (Dowód: korelacja ± 1 implikuje X iXY1±1X są liniowo powiązane jako)Y

Miarę Spearman Rank korelacje przejść, za trzy uwagi trivariate , ( 2 , 3 , 1 ) i ( 3 , 2 , 3 ) z ( X , Y , Z ) . Ich wzajemne korelacje są Rank 1 / 2 , 1 / 2 , oraz - 1 /(1,1,2)(2,3,1)(3,2,3)(X,Y,Z)1/21/2 . Tak więc nawet znak korelacji rangowej1/2 i Z mogą być odwrotnością znaki korelacji X i Y i X i Z .YZXYXZ

Whuber
źródło
whuber, czym są „zmienne wielonormalne”?
Sympa,
Jak zwykle najdokładniejsze wyjaśnienie daje dobrze zasłużony znacznik wyboru „Najlepsza odpowiedź”.
Sympa,
@Getan Lew Jesteś bardzo miły. Z przyjemnością przeczytałem wszystkie odpowiedzi na to pytanie (i zaznaczyłem je wszystkie).
whuber
88

Jestem teraz na corocznej wyprawie rybackiej. Istnieje korelacja między porą dnia, w której łowię, a ilością ryb, które łowię. Istnieje również korelacja między wielkością używanej przeze mnie przynęty a ilością złowionych przeze mnie ryb. Nie ma korelacji między wielkością przynęty a porą dnia.

Bazylia
źródło
Basil, uwielbiam to! +1 za proste wyjaśnienie w języku angielskim.
Sympa
Najlepsza. Odpowiedź. Na stats.stackexchange. Ever
Chris Beeley,
1
Opisuje to przypadek, w którym korelacje są na początku niskie, ale nie wyjaśnia przypadku, w którym korelacje są wyższe. Jeśli istnieje 80% korelacja z porą dnia i 80% korelacja z wielkością przynęty, mogę zagwarantować, że używasz większej przynęty w ciągu dnia!
user35581,
2
@ user35581 nie, nie możesz - brakuje ci całego sedna. Co godzinę mógł łowić raz małą przynętą, a raz dużą przynętą. Nadal może złapać więcej ryb w określonych porach dnia (80% korelacji) i złapać więcej ryb z większą przynętą (80% korelacji) i istnieje zerowa korelacja między wielkością przynęty, której używa, a porą dnia. Mogłoby to być nawet ujemna korelacja, gdyby częściej używał większej przynęty poza godzinami szczytu, aby zrekompensować złą porę dnia. Więc naprawdę nic nie wiesz o korelacji między porą dnia a wielkością przynęty.
rysqui
2
@rysqui, przepraszam, mój komentarz był źle sformułowany, ale chciałem to zrobić: gdy korelacje między cechami a celem stają się bardzo wysokie, wtedy twoje cechy również muszą być skorelowane. Jeśli więc masz idealną korelację między porą dnia a wielkością połowu oraz idealną korelację między wielkością przynęty a rozmiarem połowu, musisz także mieć idealną korelację między wielkością przynęty a porą dnia, stąd końcowe stwierdzenie „używasz większej przynęty w ciągu dnia”. Pamiętaj, że jest to wyjątkowy przypadek!
user35581,
20

Korelacja to cosinus kąta między dwoma wektorami. W opisanej sytuacji (A, B, C) jest potrojem obserwacji, wykonanych n razy, przy czym każda obserwacja jest liczbą rzeczywistą. Korelacja między A i B jest cosinus kąta między i V B = B - E ( B ), mierzone w n-wymiarowej przestrzeni euklidesowej. Nasza sytuacja sprowadza się więc do rozważenia 3 wektorów V A , V B i VVA=AE(A)VB=BE(B)VAVBVCw n przestrzeni wymiarowej. Mamy 3 pary wektorów, a zatem 3 kąty. Jeśli dwa kąty są małe (wysoka korelacja), trzeci również będzie mały. Ale powiedzenie „skorelowany” nie stanowi większego ograniczenia: oznacza, że ​​kąt wynosi od 0 do . Zasadniczo nie daje to żadnych ograniczeń w odniesieniu do trzeciego kąta. Innymi słowy, zacznij od dowolnego kąta mniejszego niż π między V A i V B (dowolna korelacja oprócz -1). Niech V C podział na pół kąt pomiędzy V A i V B . Wtedy C będzie skorelowane zarówno z A, jak i B.π/2πVAVBVCVAVB

David Epstein
źródło
Korelacja +1 w kategoriach kąta między wektorami wielowymiarowymi jest dla mnie intuicyjna.
Petrus Theron,
2
Dla odniesienia do przyszłych czytelników rozwinę
Jake Westfall,
18

Jako dodatek do odpowiedzi Whubera: przedstawiona formuła

.1+2ρστ(ρ2+σ2+τ2)0

można przekształcić w następującą nierówność (Olkin, 1981):

στ(1σ2)(1τ2)ρστ+(1σ2)(1τ2)

Graficznym przedstawieniem górnych i dolnych granic dla wygląda następująco:ρ

wprowadź opis zdjęcia tutaj


Olkin, I. (1981). Ograniczenia zakresu dla macierzy korelacji momentu produktu. Psychometrika, 46, 469–472. doi: 10.1007 / BF02293804

Felix S.
źródło
Czy ktoś może mi powiedzieć, czy niektóre z tych przykładów są rozkładami wielowymiarowymi, które mają określone rozkłady krańcowe, które ograniczają zakres możliwych korelacji między składnikami? Oznacza to, że korelacje nie mogą przyjmować pełnego zakresu od -1 do 1. Pamiętam, że Frechet był przynajmniej jedną osobą, która rozwinęła to w latach pięćdziesiątych. Gdy dzisiaj przeszukuję literaturę, myślę, że są one teraz nazywane kopulami Frecheta.
Michael Chernick
14

Myślę, że lepiej zapytać „dlaczego POWINNY być skorelowane?” lub może „Dlaczego warto mieć jakąś konkretną korelację?”

Poniższy kod R pokazuje przypadek, w którym oba x1 i x2 są skorelowane z Y, ale mają ze sobą korelację 0

x1 <- rnorm(100)
x2  <- rnorm(100)
y <- 3*x1 + 2*x2 + rnorm(100, 0, .3)

cor(x1,y)
cor(x2,y)
cor(x1,x2)

Korelację z Y można wzmocnić, zmniejszając .3 do .1 lub cokolwiek innego

Peter Flom
źródło
Niestety nie jestem użytkownikiem R. Powyższe kody oznaczają dla mnie mniej niż dla ciebie.
Sympa,
2
x1x2y=3x1+2x2yx1x2
14

Demonstrację statystyczną pozostawię tym, którzy są do tego bardziej odpowiedni niż ja ... ale intuicyjnie mówię, że zdarzenie A generuje proces X, który przyczynia się do wygenerowania zdarzenia C. Następnie A jest skorelowany z C (poprzez X). Z drugiej strony B generuje Y, który również kształtuje C. Dlatego A jest skorelowane z C, B jest skorelowane z C, ale A i B nie są skorelowane.

Nico
źródło
1
@Miły. Myślę, że masz na myśli „A i B nie są skorelowane” w ostatniej części ostatniego zdania.
suncoolsu,
Tak, Nico z korektą suncoolsu ... to dość dobre wytłumaczenie. Częściowo opisujesz analizę ścieżki.
Sympa,
Tak, przepraszam, pomyliłem się z literami;)
nico
1

Dla tych, którzy chcą intuicji, korelację można postrzegać jako cosinus pod pewnym kątem. Rozważmy trzy wektory w 3D, powiedzmy A, B i C, każdy odpowiadający jednej zmiennej. Pytanie polega na określeniu zakresu możliwych kątów między A i C, gdy znany jest kąt między A i B, a także kąt między B i C. W tym celu możesz grać za pomocą narzędzia online bez instalowania żadnego oprogramowania. Wystarczy wejść na stronę http://www.montefiore.ulg.ac.be/~pierard/chained_correlations.php

S. Piérard
źródło
0

Weźmy jeden przykład:

A={x1,x2,x3,x4,x5,x6,x7,x8,x9}

B={x1,x2,x3,0,0,0,0,0,0}

C={0,0,0,x4,x5,x6,0,0,0}

Dla niektórych x, A i B będą miały znaczącą korelację, podobnie A i C będą również miały znaczącą korelację, ale korelacja B i C nie będzie znacząca.

Zatem niekoniecznie jest prawdą, że jeśli A i B są skorelowane, a A i C są skorelowane, to B i C są również skorelowane.

Uwaga: Aby uzyskać głębokie zrozumienie, pomyśl o tym przykładzie dotyczącym dużych danych.

Abhishek Anand
źródło
BCx1x6ABCx1x9
Nie mam nic przeciwko odpowiedzi Abhisheka Ananda, ponieważ ostatecznie wszystko do pewnego stopnia jest skorelowane ze wszystkim innym. I podoba mi się sposób, w jaki porównuje go pod względem istotności statystycznej. Kiedy użyjesz tego frameworka, jest całkiem oczywiste, że jeśli A i B są statystycznie istotnie skorelowane z C, albo A albo B niekoniecznie muszą być statystycznie istotnie skorelowane (używając rzeczywistej struktury mojego pierwotnego pytania). Myślę, że diagramy wentylacyjne mogą stanowić doskonałe wizualne wyjaśnienie tej koncepcji.
Sympa,
@ whuber Zgadzam się z tobą. To tylko jeden przykładowy przykład, który wyjaśnia, dlaczego nie jest konieczny
Abhishek Anand
W porządku - ale wydaje się, że masz błędne przekonanie na temat korelacji między tymi wektorami. Żadne ze stwierdzeń dotyczących współczynników korelacji tych wektorów nie jest ogólnie poprawne.
whuber