Dlaczego korelacja rang Pearsona jest ważna pomimo założenia normalności?

9

Obecnie czytam założenia dotyczące korelacji Pearsona. Ważnym założeniem dla następującego testu t wydaje się, że obie zmienne pochodzą z rozkładów normalnych; jeśli nie, to zaleca się stosowanie alternatywnych środków, takich jak rho Spearmana. Korelacja Spearmana jest obliczana jak korelacja Pearsona, przy użyciu tylko rang X i Y zamiast samych X i Y, prawda?

Moje pytanie brzmi: jeśli zmienne wejściowe w korelacji Pearsona muszą być normalnie rozłożone, dlaczego obliczenie korelacji Spearmana jest ważne, mimo że zmienne wejściowe są szeregami? Moje szeregi z pewnością nie pochodzą z normalnych dystrybucji ...

Jedynym wyjaśnieniem, jakie do tej pory wymyśliłem, jest to, że znaczenie rho można przetestować inaczej niż w teście korelacji Pearsona (w sposób, który nie wymaga normalności), ale jak dotąd nie znalazłem żadnej formuły. Kiedy jednak uruchomiłem kilka przykładów, wartości p dla rho i dla testu t korelacji rang Pearsona zawsze pasowały, z wyjątkiem kilku ostatnich cyfr. Dla mnie nie wygląda to na zupełnie inną procedurę.

Wszelkie wyjaśnienia i pomysły mogą być mile widziane!

GST95
źródło

Odpowiedzi:

7

Normalność nie jest wymagana do obliczenia korelacji Pearsona; po prostu niektóre formy wnioskowania na temat odpowiedniej wielkości populacji opierają się na normalnych założeniach (CI i testy hipotez).

Jeśli nie masz normalności, domniemane właściwości tej konkretnej formy wnioskowania nie będą zachowane.

W przypadku korelacji Spearmana normalność nie istnieje, ale jest to w porządku, ponieważ obliczenia wnioskowania dla korelacji Spearmana (takie jak test hipotez) nie są oparte na założeniu normalności.

Wywodzą się z bycia zestawem sparowanych szeregów z ciągłego rozkładu dwuwymiarowego; w tym przypadku test hipotezy wykorzystuje rozkład permutacji statystyki testowej na podstawie rang.

Kiedy utrzymują się zwykłe założenia wnioskowania z korelacji Pearsona (normalność dwuwymiarowa), korelacja Spearmana jest zwykle bardzo bliska (choć średnio nieco bliższa 0).

(Kiedy więc możesz użyć Pearsona, Włócznik często radzi sobie całkiem nieźle. Jeśli miałbyś prawie dwuwymiarowe normalne dane oprócz zanieczyszczenia innym procesem (który spowodował wartości odstające), Włócznik byłby bardziej solidnym sposobem oszacowania korelacji w niezanieczyszczona dystrybucja).

Glen_b - Przywróć Monikę
źródło
Dziękujemy, odniesienie do dystrybucji permutacji jest pomocne!
GST95,
„Włócznik byłby bardziej solidnym sposobem oszacowania korelacji”. Aby rzucić okiem, Spearman oszacowałby powiązanie , a NIE korelację liniową.
landroni
1
@landroni Jeśli ogólnie mówiłem o Włóczniku, poprawnie scharakteryzujesz jego działanie - ale w tym zdaniu wyraźnie mówię o porównaniu dwóch oszacowań korelacji populacji pod wpływem zanieczyszczenia, i mam na myśli to, co tam mówię całkiem dosłownie. Wyobraź sobie dwuwymiarową normalną z korelacjąρa następnie dodaj naprawdę ekstremalną wartość odstającą. Jeśli chcę oszacowaćρ w tej sytuacji Włócznik jest bardziej niezawodnym estymatorem ρniż korelacja Pearsona.
Glen_b
1
@landroni ... Taka sytuacja może wystąpić, gdy masz główny proces, który jest ładnie zachowany i jakiś proces zanieczyszczający, który może być bardzo ekstremalny, ale zdarza się tylko sporadycznie. Jeśli jesteś zainteresowany oszacowaniem korelacji niezanieczyszczonego procesu, korelacja Pearsona jest bardzo podatna na zanieczyszczenie, w znacznie większym stopniu niż Spearman.
Glen_b
2

kiedy uruchomiłem kilka przykładów, wartości p dla rho i dla testu t korelacji rang Pearsona zawsze pasowały, z wyjątkiem ostatnich kilku cyfr

Cóż, wtedy podawałeś niewłaściwe przykłady!

a = c(1,2,3,4,5,6,7,8,9)
b = c(1,2,3,4,5,6,7,8,90)
cor.test(a,b,method='pearson')

    Pearson's product-moment correlation

data:  a and b
t = 2.0528, df = 7, p-value = 0.0792
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 -0.08621009  0.90762506
sample estimates:
      cor 
0.6130088 

cor.test(a,b,method='spearman')

    Spearman's rank correlation rho

data:  a and b
S = 0, p-value = 5.511e-06
alternative hypothesis: true rho is not equal to 0
sample estimates:
rho 
  1 

Wektory ai bmają dobre, ale dalekie od doskonałości liniowego (Pearson) korelacji. Mają jednak idealną korelację rang. Zobacz - do Spearmanaρ, w tym przypadku nie ma znaczenia, czy ostatnia cyfra bto 8,1, 9, 90 lub 9000 (spróbuj!), ma znaczenie tylko, jeśli jest większa niż 8 . To właśnie robi różnicę w korelacji rang.

I odwrotnie, podczas gdy ai bmają doskonałą korelację rang, ich współczynnik korelacji Pearsona jest mniejszy niż 1. To pokazuje, że korelacja Pearsona nie odzwierciedla rang.
Korelacja Pearsona odzwierciedla funkcję liniową, korelacja rang jest po prostu funkcją monotoniczną. W przypadku normalnych danych oba będą bardzo do siebie podobne i podejrzewam, że właśnie dlatego twoje dane nie pokazują dużych różnic między Spearmanem a Pearsonem.

Dla praktycznego przykładu rozważ następujące kwestie; chcesz sprawdzić, czy wyżsi ludzie ważą więcej. Tak, to głupie pytanie ... ale załóżmy, że o to ci zależy. Teraz masa nie skaluje się liniowo wraz z ciężarem, ponieważ wysocy ludzie są również szersi niż mali ludzie; więc ciężar nie jest liniową funkcją wzrostu. Ktoś, kto jest o 10% wyższy od ciebie, jest (średnio) o ponad 10% cięższy. Dlatego indeks ciała / masy wykorzystuje kostkę w mianowniku.
W związku z tym można założyć korelację liniową, aby niedokładnie odzwierciedlić relację wzrostu do masy. Natomiast korelacja rang jest w tym przypadku niewrażliwa na irytujące prawa fizyki i biologii; nie odzwierciedla to, czy ludzie rosną liniowo wraz ze wzrostem, po prostu odzwierciedla to, czy ludzie wyżsi (wyżsi rangi w jednej skali) są ciężsi (wyżsi rangi w drugiej skali).

Bardziej typowym przykładem mogą być rankingi kwestionariuszy podobne do Likerta, na przykład osoby oceniające coś jako „doskonałe / dobre / przyzwoite / mierne / złe / okropne”. „doskonały” jest tak samo daleki od „przyzwoitego”, jak „przyzwoity” jest od „złego” w skali , ale czy naprawdę możemy powiedzieć, że odległość między nimi jest taka sama? Korelacja liniowa niekoniecznie jest odpowiednia. Korelacja rang jest bardziej naturalna.

Aby bardziej bezpośrednio odpowiedzieć na twoje pytanie: nie, wartości p dla korelacji Pearsona i Spearmana nie mogą być obliczane inaczej . Wiele różni się w obu przypadkach, zarówno koncepcyjnie, jak i liczbowo, ale jeśli statystyka testowa jest równoważna, wartość p będzie równoważna.

Na pytanie o założeniu normalności w korelacji Pearsona, zobacz to .
Mówiąc bardziej ogólnie, inne osoby opracowały znacznie lepiej niż mogłem na temat korelacji parametrycznych vs. nieparametrycznych (patrz także tutaj ) i co to oznacza w odniesieniu do założeń dystrybucyjnych.

jona
źródło
Dziękuję Ci! Następnym razem będę eksperymentować z przykładami więcej. :)
GST95,
1
Nie, czekaj, właściwie to nie było moje pytanie. Nie porównałem metody = „pearson” z metodą = „spearman” x i y. I w porównaniu cor.test(x, y, method = "spearman")z cor.test(rank(x), rank(y), method = "pearson"). Szacunki te będą identyczne bez względu na wybrane dane. Mimo wszystko dziękuję! :)
GST95,
@ GST95, korelacja Spearmana jest dokładnie korelacją Pearsona przeprowadzoną na danych przekształconych w szeregi. Twoje dwie „metody” są naprawdę dokładnie tą samą metodą.
Dennis
@Dennis, dokładnie, nie porównywałem (identycznych) współczynników rho, ale wartości p, aby sprawdzić, czy oba zostały uzyskane za pomocą testu t.
GST95,