Przerzucanie znaków podczas dodawania jeszcze jednej zmiennej w regresji i o znacznie większej wielkości

Podstawowe ustawienia:

Model regresji: $y = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon$ gdzie C jest wektorem zmiennych kontrolnych.

Interesuję się $\beta$ i oczekuj $\beta_1$ i $\beta_2$być negatywnym. W modelu występuje jednak problem wielokoliniowości, współczynnik korelacji podaje: corr ($x_1$,$x_2)=$ 0,9345, corr ($x_1$,$x_3)=$ 0,1765, corr ($x_2$,$x_3)=$ 0,3019.

Więc $x_1$ i $x_2$są wysoce skorelowane i powinny właściwie dostarczać te same informacje. Prowadzę trzy regresje:

1. wykluczać $x_1$zmienna; 2. wykluczyć$x_2$zmienna; 3. oryginalny model z obydwoma$x_1$ i $x_2$.

Wyniki:
Dla regresji 1 i 2 zapewnia oczekiwany znak$\beta_2$ i $\beta_1$odpowiednio i o podobnej wielkości. I$\beta_2$ i $\beta_1$ są znaczące na poziomie 10% w obu modelach po wykonaniu korekcji HAC w błędzie standardowym. $\beta_3$ jest dodatni, ale nieistotny w obu modelach.

Ale za 3 $\beta_1$ ma oczekiwany znak, ale znak dla $\beta_2$ jest dodatni z wielkością dwukrotnie większą niż $\beta_1$w wartości bezwzględnej. I oboje$\beta_1$ i $\beta_2$są nieistotne. Co więcej, wielkość dla$\beta_3$ zmniejsza się prawie o połowę w porównaniu z regresją 1 i 2.

Moje pytanie brzmi:

Dlaczego za 3, znak $\beta_2$ staje się pozytywny i znacznie większy niż $\beta_1$w wartości bezwzględnej? Czy ma to jakiś statystyczny powód?$\beta_2$może odwrócić znak i ma dużą wielkość? A może dlatego, że model 1 i 2 cierpią z powodu pomijanego problemu zmiennej, który się zawyżał$\beta_3$ opatrzony $x_2$ma pozytywny wpływ na Ciebie? Ale potem w modelu regresji 1 i 2, oba$\beta_2$ i $\beta_1$ powinien być dodatni zamiast ujemny, ponieważ całkowity efekt $x_1$ i $x_2$ w regresji model 3 jest dodatni.

Pomyśl o tym przykładzie:

Zbierz zestaw danych na podstawie monet w kieszeniach narodowych, zmienna y / odpowiedź to całkowita wartość monet, zmienna x1 to całkowita liczba monet, a x2 to liczba monet, które nie są ćwiartkami (lub jakąkolwiek największą wartością wspólnych monet są dla lokalnych).

Łatwo zauważyć, że regresja z x1 lub x2 dałaby dodatnie nachylenie, ale przy włączeniu obu w modelu nachylenie na x2 byłoby ujemne, ponieważ zwiększenie liczby mniejszych monet bez zwiększenia całkowitej liczby monet oznaczałoby zastąpienie duże monety z mniejszymi i zmniejszające ogólną wartość (y).

To samo może się zdarzyć za każdym razem, gdy masz skorelowane zmienne x, znaki mogą łatwo być przeciwne, gdy termin jest sam w sobie i w obecności innych.

Odpowiedziałeś na swoje pytanie - istnieje kolinearność.

Trochę wyjaśnienia: $x_1$ i $x_2$są wysoce kolinearne. Ale kiedy wpiszesz oba do regresji, regresja próbuje kontrolować wpływ innych zmiennych. Innymi słowy, przytrzymaj$x_1$ stała, w czym się zmieniają $x_2$ zrobić, by $y$. Ale fakt, że są tak ściśle powiązane, oznacza, że ​​to pytanie jest głupie i mogą się zdarzyć dziwne rzeczy.

Dlaczego w 3 znak β2 staje się dodatni i znacznie większy niż β1 w wartości bezwzględnej? Czy istnieje jakiś statystyczny powód, dla którego β2 może odwrócić znak i ma dużą wielkość?

Prosta odpowiedź brzmi: nie ma głębokiego powodu.

Można myśleć o tym tak, że gdy wielokoliniowe podejście zbliża się idealnie, konkretne wartości, które ostatecznie uzyskujesz z dopasowania, stają się coraz bardziej zależne od coraz mniejszych szczegółów danych. Jeśli próbkujesz tę samą ilość danych z tego samego rozkładu podstawowego, a następnie dopasowujesz, możesz uzyskać zupełnie inne dopasowane wartości.