Czy dodanie większej liczby zmiennych do regresji wielowymiarowej zmienia współczynniki istniejących zmiennych?

Powiedzmy, że mam regresję wielowymiarową (kilka zmiennych niezależnych), która składa się z 3 zmiennych. Każda z tych zmiennych ma określony współczynnik. Jeśli zdecyduję się wprowadzić czwartą zmienną i ponownie uruchomić regresję, czy zmienią się współczynniki 3 pierwotnych zmiennych?

Mówiąc szerzej: czy w regresji wielowymiarowej (wiele zmiennych niezależnych) na współczynnik danej zmiennej ma wpływ współczynnik innej zmiennej?

Estymacja parametrów w modelu regresji ) zmienia się, czy zmienna X J , dodaje się do modelu, które są: $\hat\beta_i$$X_j$

1. skorelowany z parametru odpowiadającej zmiennej (co już w modelu) i$X_i$
2. skorelowane ze zmienną odpowiedzi, $Y$

Szacowana wartość beta nie zmieni się po dodaniu nowej zmiennej, jeśli którakolwiek z powyższych wartości będzie nieskorelowana. Zauważ, że to, czy są one nieskorelowane w populacji (tj. , czy ρ ( X j , Y ) = 0 ) jest nieistotne. Ważne jest to, że obie przykładowe korelacje wynoszą dokładnie 0 . Zasadniczo nigdy nie będzie tak w praktyce, chyba że pracujesz z danymi eksperymentalnymi, w których zmiennymi manipulowano w taki sposób, że nie są one skorelowane z założenia. $\rho_{(X_i, X_j)}=0$ $\rho_{(X_j, Y)}=0$$0$

Zauważ też, że wielkość zmiany parametrów może nie mieć zbyt wielkiego znaczenia (zależy to, przynajmniej częściowo, od twojej teorii). Co więcej, wielkość, którą mogą zmienić, jest funkcją wielkości dwóch powyższych korelacji.

Z drugiej strony, nie jest tak naprawdę słuszne myśleć o tym zjawisku jako o „współczynniku danej zmiennej [będącym pod wpływem współczynnika innej zmiennej”). To nie bety wpływają na siebie nawzajem. Zjawisko to jest naturalnym wynikiem algorytmu używanego przez oprogramowanie statystyczne do szacowania parametrów nachylenia. Wyobraźmy sobie sytuację, w której jest spowodowane zarówno przez X I i X j , które z kolei są skorelowane ze sobą. Jeśli tylko X i jest w modelu, niektóre z różnic w Y , który jest ze względu na X j zostaną niewłaściwie nadana X $Y$$X_i$$X_j$$X_i$$Y$$X_j$$X_i$. Oznacza to, że wartość jest stronnicza; nazywa się to pomijanym zmiennym nastawieniem . $X_i$

Z matematycznego punktu widzenia możliwe jest, że współczynniki się nie zmienią, ale jest mało prawdopodobne, że rzeczywiste dane w ogóle się nie zmienią, nawet jeśli wszystkie zmienne niezależne są od siebie niezależne. Ale w takim przypadku zmiany (inne niż w punkcie przechwytywania) będą miały tendencję do 0:

set.seed(129231)
x1 <- rnorm(100)
x2 <- rnorm(100)
x3 <- rnorm(100)
x4 <- rnorm(100)
y <- x1 + x2 + x3 + x4 + rnorm(100, 0, .2)
lm1 <- lm(y~x1+x2+x3)
coef(lm1)
lm2 <- lm(y~x1+x2+x3+x4)
coef(lm2)

Jednak w świecie rzeczywistym zmienne niezależne są często ze sobą powiązane. W takim przypadku dodanie czwartej zmiennej do równania zmieni inne współczynniki, czasami o wiele.

Możliwe są interakcje… ale to kolejne pytanie.

Ogólnie rzecz biorąc, tak, dodanie zmiennej zmienia wcześniejsze współczynniki, prawie zawsze.

Rzeczywiście, jest to zasadniczo przyczyna paradoksu Simpsona , w którym współczynniki mogą się zmieniać, nawet odwrócić znak, z powodu pominiętych współzmiennych.

Aby tak się nie stało, potrzebowalibyśmy, aby nowe zmienne były prostopadłe do poprzednich. Zdarza się to często w zaprojektowanych eksperymentach, ale jest bardzo mało prawdopodobne w danych, w których wzorzec zmiennych niezależnych nie jest planowany.