Jak wyjaśniłbyś kowariancję komuś, kto rozumie tylko średnią?

207

... zakładając, że jestem w stanie poszerzyć swoją wiedzę na temat wariancji w intuicyjny sposób (intuicyjnie rozumiem „wariancję” ) lub mówiąc: Jest to średnia odległość wartości danych od „średniej” - i ponieważ wariancja jest kwadratowa jednostki, bierzemy pierwiastek kwadratowy, aby utrzymać te same jednostki, co nazywa się odchyleniem standardowym.

Załóżmy, że tyle jest wyrażone i (miejmy nadzieję) zrozumiane przez „odbiorcę”. Czym jest kowariancja i jak wyjaśnić ją prostym angielskim bez użycia matematycznych terminów / formuł? (Tj. Intuicyjne wyjaśnienie;)

Uwaga: znam formuły i matematykę leżące u podstaw tej koncepcji. Chcę być w stanie „wyjaśnić” to samo w łatwy do zrozumienia sposób, bez uwzględnienia matematyki; tzn. co w ogóle oznacza „kowariancja”?

Doktorat
źródło
1
@ Xi'an - „jak” dokładnie zdefiniowałbyś to za pomocą prostej regresji liniowej ? Naprawdę chciałbym wiedzieć ...
Dr
3
Zakładając, że masz już wykres rozrzutu dwóch zmiennych, x vs. y, z początkiem na (0,0), po prostu narysuj dwie linie na x = średnia (x) (w pionie) i y = średnia (x) (w poziomie): używając tego nowego układu współrzędnych (początek jest na (średnia (x), średnia (y)), umieść znak „+” w prawym górnym i lewym dolnym kwadrancie, znak „-” w dwóch pozostałych ćwiartkach; masz znak kowariancji, co w zasadzie powiedział @Peter . Skalowanie jednostek xi y (SD) prowadzi do bardziej interpretowalnego podsumowania, jak omówiono w kolejnym wątku .
chl
@chl - czy możesz napisać to jako odpowiedź i być może użyć grafiki, aby to przedstawić!
PhD
Znalazłem wideo na tej stronie, aby mi pomóc, ponieważ wolę obrazy niż abstrakcyjne wyjaśnienia. Strona internetowa z wideo W szczególności ten obraz :! [Wprowadź opis obrazu tutaj ] ( i.stack.imgur.com/xGZFv.png )
Karl Morrison

Odpowiedzi:

374

Czasami możemy „poszerzyć wiedzę” za pomocą nietypowego lub innego podejścia. Chciałbym, aby ta odpowiedź była dostępna dla przedszkolaków, a także dobrze się bawić, aby wszyscy wyciągnęli kredki!

Biorąc pod uwagę sparowane dane , narysuj ich wykres rozrzutu. (Młodsi uczniowie mogą potrzebować nauczyciela, aby to dla nich stworzył. :-) Każda para punktów , na tym wykresie określa prostokąt: jest to najmniejszy prostokąt, którego boki są równoległe do osie zawierające te punkty. Punkty znajdują się zatem w prawym górnym i lewym dolnym rogu (relacja „dodatnia”) lub w lewym górnym i prawym dolnym rogu (relacja „ujemna”).(x,y)(xi,yi)(xj,yj)

Narysuj wszystkie możliwe takie prostokąty. Pokoloruj je przezroczyście, dzięki czemu dodatnie prostokąty będą czerwone (powiedzmy), a ujemne prostokąty „anty-czerwone” (niebieskie). W ten sposób wszędzie tam, gdzie prostokąty się nakładają, ich kolory są albo poprawiane, gdy są takie same (niebieski i niebieski lub czerwony i czerwony), lub anulowane, gdy są różne.

Dodatnie i ujemne prostokąty

( Na tej ilustracji dodatniego (czerwonego) i ujemnego (niebieskiego) prostokąta nakładka powinna być biała; niestety to oprogramowanie nie ma prawdziwego koloru „czerwonego”. Nakładka jest szara, więc przyciemni fabuła, ale ogólnie ilość netto czerwieni jest poprawna ).

Teraz jesteśmy gotowi na wyjaśnienie kowariancji.

Kowariancja jest ilością netto czerwieni na wykresie (traktując niebieski jako wartości ujemne).

Oto kilka przykładów z 32 punktami dwumianowymi wyciągniętymi z rozkładów o podanych kowariancjach, uporządkowanych od najbardziej negatywnych (najciemniejszych) do najbardziej pozytywnych (najbardziej czerwonych).

Wykresy kowariancji, zaktualizowane 2019

Rysowane są na wspólnych osiach, aby były porównywalne. Prostokąty są lekko obrysowane, aby pomóc Ci je zobaczyć. To jest zaktualizowana wersja oryginału (2019): używa oprogramowania, które prawidłowo kasuje kolory czerwony i cyjan w nakładających się prostokątach.

Wydedukujmy pewne właściwości kowariancji. Zrozumienie tych właściwości będzie dostępne dla każdego, kto faktycznie narysował kilka prostokątów. :-)

  • Dwuliniowość. Ponieważ ilość czerwieni zależy od wielkości wykresu, kowariancja jest wprost proporcjonalna do skali na osi x i do skali na osi y.

  • Korelacja. Kowariancja rośnie, gdy punkty zbliżają się do linii opadającej w górę i maleje, gdy punkty zbliżają się do linii opadającej w dół. Wynika to z faktu, że w pierwszym przypadku większość prostokątów jest dodatnia, aw drugim przypadku większość jest ujemna.

  • Związek z powiązaniami liniowymi. Ponieważ powiązania nieliniowe mogą tworzyć mieszanki dodatnich i ujemnych prostokątów, prowadzą one do nieprzewidywalnych (i niezbyt przydatnych) kowariancji. Powiązania liniowe można w pełni interpretować za pomocą dwóch poprzednich charakterystyk.

  • Wrażliwość na wartości odstające. Geometryczna wartość odstająca (jeden punkt oddalony od masy) stworzy wiele dużych prostokątów w połączeniu ze wszystkimi innymi punktami. Już samo to może stworzyć dodatnią lub ujemną ilość czerwieni na całym obrazie.

Nawiasem mówiąc, ta definicja kowariancji różni się od zwykłej jedynie uniwersalną stałą proporcjonalności (niezależną od wielkości zestawu danych). Skłonni matematycznie nie będą mieli problemów z wykonaniem algebraicznego pokazu, że podana tu formuła jest zawsze dwa razy większa niż zwykła kowariancja.

Whuber
źródło
92
+1 Wow. Działa to nawet w celu wyjaśnienia kowariancji tym, którzy już myśleli, że wiedzą, co to jest.
Aaron,
7
+1 Naprawdę lubię czytać twoją odpowiedź. Narysuję prostokąty i pozwolę ich synowi je pomalować :)
chl
18
Teraz, gdyby tylko wszystkie wstępne pojęcia statystyczne mogły być zaprezentowane uczniom w tak przejrzysty sposób…
MannyG
4
To jest piękne. I bardzo, bardzo jasne.
Benjamin Mako Hill
4
@fcoppens Rzeczywiście istnieje tradycyjne wyjaśnienie, które przebiega zgodnie z twoimi sugestiami. Myślałem o tym, ponieważ nie chciałem wprowadzać niepotrzebnego pomysłu - a mianowicie konstruowania środka ciężkości . To uczyniłoby to wyjaśnienie niedostępnym dla pięciolatka z pudełkiem kredek. Niektóre wnioski, które wyciągnąłem na końcu, również nie byłyby natychmiastowe. Na przykład nie byłoby już tak oczywiste, że kowariancja jest wrażliwa na niektóre rodzaje wartości odstających. (x¯,r¯)
whuber
61

Wypracowanie na moim komentarzu użyłem uczyć kowariancji jako miara (średnia) Współpraca zmienności pomiędzy dwiema zmiennymi, powiedzmy i y .xr

Warto przypomnieć podstawową formułę (prostą do wyjaśnienia, nie trzeba mówić o matematycznych oczekiwaniach dotyczących kursu wprowadzającego):

Cov(x,r)=1nja=1n(xja-x¯)(rja-r¯)

tak abyśmy wyraźnie widzieli, że każda obserwacja może pozytywnie lub negatywnie przyczynić się do kowariancji, w zależności od iloczynu ich odchylenia od średniej z dwóch zmiennych ˉ x i ˉ y . Zauważ, że nie mówię tu o wielkości, ale o znaku wkładu i-tej obserwacji.(xja,rja)x¯r¯

To właśnie przedstawiłem na poniższych schematach. Sztuczne dane zostały wygenerowane przy użyciu modelu liniowego (lewy, ; prawy, y = 0,1 x + ε , gdzie ε zostały narysowane z rozkładu gaussowskiego ze średnią zerową i SD = 2 , a x z rozkładu jednolitego na interwał [ 0 , 20 ] ).r=1.2x+εr=0,1x+εεSD=2)x[0,20]

wprowadź opis zdjęcia tutaj

xr(0,0)(x¯,r¯)

   +  -
+ 30  2
-  0 28

xjarjar¯xrb=Cov(x,r)/Var(x)

xja

   +  -
+ 18 14
- 12 16

xjarja

xr(x/10,r)(x,r/10)xr(x,r)(x¯,r¯)xr

chl
źródło
27

Kowariancja jest miarą tego, o ile jedna zmienna idzie w górę, gdy druga w górę.

Peter Flom
źródło
1
Czy zawsze jest w „tym samym” kierunku? Czy ma to również zastosowanie do relacji odwrotnych (tj. Gdy jedna idzie w górę, druga idzie w dół)?
PhD
4
@nupul Cóż, przeciwieństwo „w górę” to „w dół”, a przeciwieństwo „dodatnia” to „ujemna”. Próbowałem udzielić odpowiedzi na jedno zdanie. Twoja jest znacznie bardziej kompletna. Nawet twoje „jak dwie zmienne zmieniają się razem” jest bardziej kompletne, ale myślę, że trochę trudniejsze do zrozumienia.
Peter Flom
1
+1 za umieszczenie go w jednym, prostym zdaniu, ale czy to nie korelacja? Znaczy, wiem większe cov => większe corr, ale w tym zdaniu oczekiwałbym czegoś w rodzaju „80%” jako odpowiedzi, co odpowiada corr = 0,8. Czy Cov nie opisuje również wariancji danych? to znaczy. „Kowariancja jest proporcjonalna do tego, o ile jedna zmienna idzie w górę, gdy druga idzie w górę, a także proporcjonalna do rozkładu danych w obu zmiennych” czy coś takiego?
naught101
4
Zgadza się, Peter, dlatego @ naught101 napisał ten komentarz: opis brzmi jak tempo zmian, którego jednostkami będą zatem [jednostki jednej zmiennej] / [jednostki drugiej zmiennej] (jeśli interpretujemy to jak pochodną ) lub będzie po prostu [jednostkami jednej zmiennej] (jeśli interpretujemy jako czystą różnicę). Nie są to ani kowariancja (której jednostką miary jest iloczyn jednostek dla dwóch zmiennych), ani korelacja (która jest jednostkowa).
whuber
1
XY1,YXY
12

I 'm odpowiadając na moje własne pytanie, ale pomyślałem, że to byłoby idealne dla ludzi, napotykając tego postu, aby sprawdzić niektóre z wyjaśnień na tej stronie .

Parafrazuję jedną z bardzo dobrze wyartykułowanych odpowiedzi (autorstwa użytkownika „Zhop”). Robię to na wypadek, gdyby ta strona została zamknięta lub strona została zdjęta, gdy ktoś od tej chwili uzyska dostęp do tego postu;)

Kowariancja jest miarą zmiany dwóch zmiennych. Porównaj to z wariancją, która jest tylko zakresem, w którym zmienia się jedna miara (lub zmienna).

Badając wzorce społeczne, możesz postawić hipotezę, że ludzie zamożniejsi będą prawdopodobnie lepiej wykształceni, więc postaraj się sprawdzić, jak ściśle mierzone są wartości bogactwa i edukacji. Aby to ustalić, użyłbyś miary kowariancji.

...

Nie jestem pewien, co masz na myśli, gdy pytasz, jak to się ma do statystyki. Jest to jedna miara nauczana w wielu klasach statystyk. Miałeś na myśli, kiedy powinieneś go użyć?

Używasz go, gdy chcesz zobaczyć, o ile dwie lub więcej zmiennych zmienia się względem siebie.

Pomyśl o ludziach w zespole. Zobacz, jak różnią się między sobą lokalizacją geograficzną. Kiedy drużyna gra lub ćwiczy, odległość między poszczególnymi członkami jest bardzo mała i powiedzielibyśmy, że znajdują się w tym samym miejscu. A kiedy zmienia się ich lokalizacja, zmienia się to razem dla wszystkich osób (np. Podróżujących autobusem do gry). W tej sytuacji powiedzielibyśmy, że mają wysoki poziom kowariancji. Ale kiedy nie grają, wskaźnik kowariancji może być dość niski, ponieważ wszyscy jeżdżą w różne miejsca z różną prędkością.

Możesz więc przewidzieć lokalizację jednego członka drużyny na podstawie lokalizacji innego członka drużyny, gdy ćwiczysz lub grasz w grę z dużą dokładnością. Uważam, że pomiar kowariancji byłby bliski 1. Ale kiedy nie ćwiczą ani nie grają, masz znacznie mniejszą szansę na przewidzenie lokalizacji jednej osoby, na podstawie lokalizacji członka zespołu. Byłoby to bliskie zera, prawdopodobnie, choć nie zero, ponieważ czasami członkowie zespołu będą przyjaciółmi i mogą razem iść w różne miejsca.

Jeśli jednak losowo wybierzesz osoby w Stanach Zjednoczonych i spróbujesz użyć jednej z nich do przewidzenia lokalizacji drugiej, prawdopodobnie okaże się, że kowariancja wynosiła zero. Innymi słowy, absolutnie nie ma związku między lokalizacją jednej losowo wybranej osoby w USA a lokalizacją innej osoby.

Dodanie kolejnego (autorstwa „CatofGrey”), który pomaga zwiększyć intuicję:

W teorii prawdopodobieństwa i statystyce kowariancja jest miarą tego, o ile dwie zmienne losowe różnią się razem (w odróżnieniu od wariancji, która mierzy, o ile zmienia się pojedyncza zmienna).

Jeśli dwie zmienne mają tendencję do różnicowania się razem (to znaczy, gdy jedna z nich jest wyższa od wartości oczekiwanej, wówczas druga zmienna również ma tendencję do przekraczania wartości oczekiwanej), wówczas kowariancja między tymi dwiema zmiennymi będzie dodatnia. Z drugiej strony, jeśli jedna z nich jest powyżej wartości oczekiwanej, a druga zmienna ma tendencję do spadania poniżej wartości oczekiwanej, wówczas kowariancja między dwiema zmiennymi będzie ujemna.

Te dwa razem sprawiły, że zrozumiałem kowariancję, jakiej nigdy wcześniej nie rozumiałem! Po prostu niesamowite!!

Doktorat
źródło
15
Chociaż opisy te są jakościowo sugestywne, niestety są niepełne: ani nie odróżniają kowariancji od korelacji (w rzeczywistości pierwszy opis wydaje się mylić te dwa), ani nie przedstawiają podstawowego założenia liniowej współzmienności. Ponadto żadne z nich nie dotyczy ważnego aspektu, w którym kowariancja zależy (liniowo) od skali każdej zmiennej.
whuber
@whuber - uzgodniono! I dlatego nie zaznaczyłem mojego jako odpowiedzi :) (jeszcze nie;)
PhD
12

Bardzo podoba mi się odpowiedź Whubera, więc zebrałem trochę więcej zasobów. Kowariancja opisuje zarówno to, jak daleko rozłożone są zmienne, jak i charakter ich relacji.

Kowariancja wykorzystuje prostokąty do opisania odległości obserwacji od średniej na wykresie punktowym:

  • Jeśli prostokąt ma długie boki i dużą szerokość lub krótkie boki i krótką szerokość, stanowi to dowód, że dwie zmienne poruszają się razem.

  • Jeśli prostokąt ma dwa boki, które są stosunkowo długie dla tych zmiennych, i dwa boki, które są stosunkowo krótkie dla drugiej zmiennej, ta obserwacja dostarcza dowodów, że zmienne nie poruszają się razem bardzo dobrze.

  • Jeśli prostokąt znajduje się w 2. lub 4. ćwiartce, to gdy jedna zmienna jest większa niż średnia, druga jest mniejsza niż średnia. Wzrost jednej zmiennej wiąże się ze spadkiem drugiej.

Znalazłem fajną wizualizację tego na http://sciguides.com/guides/covariance/. Wyjaśnia to, czym jest kowariancja, jeśli tylko znasz jej znaczenie.

artur.00
źródło
7
+1 Dobre wyjaśnienie (zwłaszcza to wstępne podsumowanie jednego zdania). Link jest interesujący. Ponieważ nie ma archiwum na maszynie Wayback , prawdopodobnie jest nowy. Ponieważ tak ściśle przypomina moją (trzyletnią) odpowiedź, aż do wyboru czerwieni dla pozytywnych i niebieskich dla negatywnych relacji, podejrzewam, że jest to (nieprzypisana) pochodna materiału na tej stronie.
whuber
4
Łącze „fajnej wizualizacji” wygasło ...
whuber
1
@ MSIS Nie można tego rozgryźć, ponieważ w kole istnieje bardzo duża liczba możliwych dystrybucji. Ale jeśli masz na myśli rozkład równomierny , nie ma nic do obliczenia, ponieważ (jak przypominam uwagę w twoim wątku na stats.stackexchange.com/q/414365/919 ) współczynnik korelacji musi być równy swojemu ujemnemu, QED.
whuber
1
XX0XX2)X1,XX2):-11
whuber
1
α,za<αb((b-za)mod2)π)/(2)π).
10

Oto kolejna próba wyjaśnienia kowariancji obrazem. Każdy panel na poniższym zdjęciu zawiera 50 punktów symulowanych z dwuwymiarowego rozkładu z korelacją między xiy y 0,8 a wariancjami, jak pokazano na etykietach wierszy i kolumn. Kowariancja jest pokazana w prawym dolnym rogu każdego panelu.

Różne kowariancje, wszystkie z korelacją = 0,8

Każdy zainteresowany poprawą tego ... oto kod R:

library(mvtnorm)

rowvars <- colvars <- c(10,20,30,40,50)

all <- NULL
for(i in 1:length(colvars)){
  colvar <- colvars[i]
  for(j in 1:length(rowvars)){
    set.seed(303)  # Put seed here to show same data in each panel
    rowvar <- rowvars[j]
    # Simulate 50 points, corr=0.8
    sig <- matrix(c(rowvar, .8*sqrt(rowvar)*sqrt(colvar), .8*sqrt(rowvar)*sqrt(colvar), colvar), nrow=2)
    yy <- rmvnorm(50, mean=c(0,0), sig)
    dati <- data.frame(i=i, j=j, colvar=colvar, rowvar=rowvar, covar=.8*sqrt(rowvar)*sqrt(colvar), yy)
    all <- rbind(all, dati)
  }
}
names(all) <- c('i','j','colvar','rowvar','covar','x','y')
all <- transform(all, colvar=factor(colvar), rowvar=factor(rowvar))
library(latticeExtra)
useOuterStrips(xyplot(y~x|colvar*rowvar, all, cov=all$covar,
                      panel=function(x,y,subscripts, cov,...){
                        panel.xyplot(x,y,...)
                        print(cor(x,y))
                        ltext(14,-12, round(cov[subscripts][1],0))
                      }))
Kevin Wright
źródło
10

Uwielbiałem odpowiedź @whuber - zanim jeszcze miałem w głowie niejasne wyobrażenie o tym, jak można wizualizować kowariancję, ale te prostokątne wykresy są genialne.

Ponieważ jednak formuła kowariancji obejmuje średnią, a pierwotne pytanie PO stwierdziło, że „odbiorca” rozumie pojęcie średniej, pomyślałem, że będę miał problem z dostosowaniem wykresów prostokątnych @ Whubera do porównania każdego punktu danych z wartością oznacza xiy, ponieważ to bardziej reprezentuje to, co dzieje się w formule kowariancji. Myślałem, że faktycznie wygląda to dość intuicyjnie: „Wykresy kowariancji dla zmiennych o różnych korelacjach”

Niebieska kropka na środku każdego wykresu oznacza średnią x (x_mean) i średnią y (y_mean).

Prostokąty porównują wartości x - x_mean i y - y_mean dla każdego punktu danych.

Prostokąt jest zielony, gdy:

  • zarówno xiy są większe niż ich odpowiednie średnie
  • zarówno xiy są mniejsze niż ich odpowiednie średnie

Prostokąt jest czerwony, gdy:

  • x jest większy niż x_ean, ale y jest mniejszy niż y_ean
  • x jest mniejsze niż x_ean, ale y jest większe niż y_ean

Kowariancja (i korelacja) może być zarówno silnie ujemna, jak i silnie dodatnia. Gdy wykres jest zdominowany przez jeden kolor bardziej niż drugi, oznacza to, że dane przeważnie mają spójny wzór.

  • Jeśli wykres ma dużo więcej zieleni niż czerwieni, oznacza to, że y ogólnie wzrasta, gdy x rośnie.
  • Jeśli wykres ma dużo więcej czerwieni niż zieleni, oznacza to, że y ogólnie zmniejsza się, gdy x wzrasta.
  • Jeśli wykres nie jest zdominowany przez jeden lub drugi kolor, oznacza to, że nie ma wiele wzorca, w jaki sposób xiy odnoszą się do siebie.

Rzeczywista wartość kowariancji dla dwóch różnych zmiennych x i y, jest w zasadzie sumą całego zielonego obszaru minus cały czerwony obszar, a następnie podzielona przez całkowitą liczbę punktów danych - w rzeczywistości średnia wartość zieloności względem czerwieni na wykresie .

Jak to brzmi / wygląda?

Capohugo
źródło
3

Wariancja to stopień, w jakim losowa zmienna zmienna w stosunku do jej oczekiwanej wartości Ze względu na stochastyczny charakter leżącego u podstaw procesu zmienna losowa reprezentuje.

Kowariancja to stopień, w jakim dwie różne zmienne losowe zmieniają się względem siebie. Może się to zdarzyć, gdy zmienne losowe są sterowane przez ten sam proces bazowy lub jego pochodne. Oba procesy reprezentowane przez te zmienne losowe wpływają na siebie lub jest to ten sam proces, ale jedna ze zmiennych losowych pochodzi od drugiej.

Kingz
źródło
2

Wyjaśniłbym po prostu korelację, która jest dość intuicyjna. Powiedziałbym: „Korelacja mierzy siłę zależności między dwiema zmiennymi X i Y. Korelacja wynosi między -1 a 1 i będzie bliska 1 w wartości bezwzględnej, gdy relacja jest silna. Kowariancja jest tylko korelacją pomnożoną przez odchylenia standardowe te dwie zmienne. Tak więc chociaż korelacja jest bezwymiarowa, kowariancja jest iloczynem jednostek dla zmiennej X i zmiennej Y.

Michael Chernick
źródło
10
Wydaje się to nieodpowiednie, ponieważ nie ma wzmianki o liniowości. X i Y mogą mieć silną zależność kwadratową, ale mogą mieć korelację równą zero.
markseeto
0

Dwie zmienne, które miałyby wysoką dodatnią kowariancję (korelację), to liczba osób w pokoju i liczba palców znajdujących się w pokoju. (Wraz ze wzrostem liczby osób oczekujemy również wzrostu liczby palców).

Coś, co może mieć ujemną kowariancję (korelację), to wiek danej osoby i liczba mieszków włosowych na głowie. Lub liczba zits na twarzy osoby (w określonej grupie wiekowej) i ile dat ma w ciągu tygodnia. Oczekujemy, że osoby z większą liczbą lat będą miały mniej włosów, a osoby z trądzikiem będą miały mniej randek. Są one negatywnie skorelowane.

Adam
źródło
2
Kowariancja niekoniecznie musi być wymienna z korelacją - ta pierwsza jest bardzo zależna od jednostki. Korelacja to liczba między -1 a 1 skalarem bez jednostki reprezentującym „siłę” kowariancji IMO i nie jest to jednoznaczne z twojej odpowiedzi
dr
Uznaje się, że odpowiedź jest negatywna, ponieważ kowariancję i korelację można stosować zamiennie.
sapo_cosmico