Nie wiem nawet, czy to pytanie ma sens, ale jaka jest różnica między regresją wielokrotną a korelacją częściową (oprócz oczywistych różnic między korelacją a regresją, do czego nie dążę)?
Chcę dowiedzieć się, co następuje:
Mam dwie zmienne niezależne ( , ) i jedną zmienną zależną ( ). Teraz indywidualnie zmienne niezależne nie są skorelowane ze zmienną zależną. Ale dla danego maleje, gdy maleje. Czy analizuję to za pomocą regresji wielokrotnej lub częściowej korelacji ?
edytuj, aby, mam nadzieję, poprawić moje pytanie: Próbuję zrozumieć różnicę między regresją wielokrotną a korelacją częściową. Tak więc, kiedy zmniejsza się dla danego gdy maleje, to czy wynika to z połączonego wpływu i na (regresja wielokrotna) czy jest to spowodowane usunięciem efektu (częściowa korelacja)?
źródło
Odpowiedzi:
Wielokrotny współczynnik regresji liniowej i korelacja częściowa są bezpośrednio powiązane i mają takie samo znaczenie (wartość p). Częściowe r jest po prostu innym sposobem standaryzacji współczynnika, wraz ze współczynnikiem beta (znormalizowany współczynnik regresji) . Zatem jeśli zmienną zależną jest a niezależnymi są i to1 y x1 x2
Widać, że liczniki są takie same, które mówią, że oba wzory mierzyć ten sam niepowtarzalny efekt z . Spróbuję wyjaśnić, w jaki sposób te dwie formuły są strukturalnie identyczne i jak nie są.x1
Załóżmy, że znormalizowałeś (średnia 0, wariancja 1) wszystkie trzy zmienne. Licznik jest zatem równa kowariancji dwóch rodzajów reszt : z (a) pozostawiać resztki w przewidywaniu przez [obie zmienne standard] i (b) pozostałości pozostawione w przewidywaniu przez [obie zmienne standard]. Ponadto wariancja reszt (a) wynosi ; wariancja reszt (b) wynosi .y x2 x1 x2 1−r2yx2 1−r2x1x2
Wzór na korelację częściową pojawia się wtedy wyraźnie wzór zwykłego Pearsona , obliczony w tym przypadku między resztami (a) i resztami (b): wiemy, że Pearson jest kowariancją podzieloną przez mianownik, który jest średnią geometryczną dwie różne warianty.r r
Znormalizowany współczynnik beta jest strukturalnie podobny do Pearsona , tyle że mianownik jest średnią geometryczną wariancji z własnym ja . Wariancja reszt (a) nie została zliczona; zostało zastąpione przez drugie zliczanie wariancji reszt (b). Beta jest zatem kowariancją dwóch reszt względem względnej wariancji jednej z nich (konkretnie tej odnoszącej się do predyktora zainteresowania, ). Chociaż częściowa korelacja, jak już zauważono, to ta sama kowariancja w stosunku do ich wariancji hybrydowej . Oba typy współczynników są sposobami na ujednolicenie efektu w środowisku innych predyktorów.r x1 x1
Niektóre liczbowe konsekwencje różnicy. Jeśli R-kwadrat wielokrotnej regresji przez i będzie 1, wówczas obie częściowe korelacje predyktorów z zależną będą również równe 1 wartości bezwzględnej (ale beta na ogół nie będzie 1). W rzeczywistości, jak wspomniano, jest korelacja między resztek i resztek . Jeśli to, co nie jest w jest dokładnie tym , co nie jest w to nie ma nic w co nie ani aniy x1 x2 ryx1.x2 x2 y x2 x1 y x1 x2 : pełne dopasowanie. Jakakolwiek jest ilość niewyjaśnionej (przez ) części pozostawionej w ( ), jeśli jest ona przechwycona stosunkowo wysoko przez niezależną część (przez ), będzie wysoki. Z drugiej strony będzie wysoki tylko pod warunkiem, że uchwycona niewyjaśniona część jest sama w sobie znaczną częścią .x2 y 1−r2yx2 x1 1−r2x1x2 ryx1.x2 βx1 y y
y <- x2
x1 <- x2
Z powyższych wzorów uzyskuje się (i rozciągając od regresji 2-predyktorowej do regresji z dowolną liczbą predyktorów ) wzór konwersji między beta i odpowiadającym jej częściowym r:x1,x2,x3,...
gdzie oznacza zbiór wszystkich predyktorów oprócz bieżącego ( ); to reszty z regresji przez , a to reszty z regresji przez , zmienne w obu tych regresjach wprowadzają je znormalizowane .X x1 ey←X y X ex1←X x1 X
Uwaga: jeśli musimy obliczyć częściowe korelacje z każdym predyktorem , zwykle nie będziemy używać tej formuły wymagającej wykonania dwóch dodatkowych regresji. Zamiast tego zostaną wykonane operacje przeszukiwania (często stosowane w algorytmach regresji stopniowej i wszystkich podzbiorach) lub obliczona zostanie macierz korelacji antyobrazowej.y x
źródło
to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removed
efekt usunięty ? Jeśli „usuniesz” X2 zarówno z Y, jak i X1, to będzie to corr. między Y a X1 jest korelacja częściowa . Jeśli „usuniesz” X2 tylko z X1, to będzie to corr. między Y i X 1 jest nazywany część (lub pół-częściowe) korelacji. Naprawdę o to pytałeś ?Przypadkiem wpadłem na ten bieżnik. W pierwotnej odpowiedzi we wzorze na brakuje czynnika , czyli gdzie i .βx1 SSY/SSX1−−−−−−−−−−√
źródło