Dlaczego w regresji liniowej powinniśmy uwzględniać wyrażenia kwadratowe, gdy interesują nas tylko terminy interakcji?

Załóżmy, że interesuje mnie model regresji liniowej

W notatkach dla profesorów (z którymi nie mam kontaktu) napisano: Przy uwzględnianiu warunków interakcji należy podać warunki drugiego stopnia. to znaczy

Dlaczego należy uwzględniać warunki drugiego stopnia, gdy interesują nas tylko interakcje?

To zależy od celu wnioskowania. Jeśli chcesz wnioskować, czy istnieje interakcja, na przykład w kontekście przyczynowym (lub, bardziej ogólnie, jeśli chcesz interpretować współczynnik interakcji), to zalecenie twojego profesora ma sens i pochodzi z fakt, że błędne określenie formy funkcjonalnej może prowadzić do błędnych wniosków na temat interakcji .

Oto prosty przykład, w którym nie ma terminu interakcji między $x_1$ i $x_2$ w równaniu strukturalnym z $y$, ale jeśli nie podasz kwadratowego terminu $x_1$, błędnie byście to wywnioskowali $x_1$ współdziała z $x_2$ kiedy w rzeczywistości tak nie jest.

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

Można to zinterpretować jako zwykły przypadek pominiętej zmienności nastawienia i tutaj $x_1^2$jest zmienną pominiętą. Jeśli cofniesz się i włączysz kwadratowy termin do regresji, pozorna interakcja zniknie.

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

Oczywiście, to rozumowanie dotyczy nie tylko terminów kwadratowych, ale ogólnie błędnej specyfikacji formy funkcjonalnej. Celem jest tutaj odpowiednie modelowanie funkcji warunkowego oczekiwania w celu oceny interakcji. Jeśli ograniczasz się do modelowania z regresją liniową, musisz ręcznie dołączyć te warunki nieliniowe. Ale alternatywą jest zastosowanie bardziej elastycznego modelowania regresji, na przykład regresji grzbietu jądra .

Dwa modele wymienione w odpowiedzi można ponownie wyrazić, aby wyjaśnić, w jaki sposób$X_1$ postuluje się polegać na $X_2$ (lub na odwrót) w każdym modelu.

Pierwszy model można powtórzyć w następujący sposób:

co pokazuje, że w tym modelu $X1$ zakłada się, że ma liniowy wpływ na $Y$ (kontrolowanie efektu $X_2$), ale wielkość tego efektu liniowego - uchwycona przez współczynnik nachylenia wynoszący $X_1$ - zmienia się liniowo w funkcji $X_2$. Na przykład efekt$X_1$ na $Y$ może wzrosnąć w miarę jak wartości $X_2$ zwiększać.

Drugi model można powtórzyć w następujący sposób:

co pokazuje, że w tym modelu efekt $X_1$ na $Y$ (kontrolowanie efektu $X_2$) zakłada się, że jest kwadratowy, a nie liniowy. Ten kwadratowy efekt zostaje uchwycony przez uwzględnienie obu$X_1$ i $X_1^2$w modelu. Podczas gdy współczynnik$X_1^2$ zakłada się, że jest niezależny od $X_2$, współczynnik wynoszący $X_1$ zakłada się, że zależy liniowo $X_2$.

Użycie dowolnego modelu oznaczałoby, że przyjmujesz zupełnie inne założenia dotyczące charakteru efektu $X_1$ na $Y$ (kontrolowanie efektu $X_2$).

Zwykle ludzie pasują do pierwszego modelu. Mogą następnie wykreślić wartości resztkowe z tego modelu$X_1$ i $X_2$po kolei. Jeśli reszty ujawniają kwadratowy wzorzec w reszcie w funkcji$X_1$ i / lub $X_2$, model można odpowiednio rozszerzyć, aby obejmował $X_1^2$ i / lub $X_2^2$ (i być może ich interakcja).

Zauważ, że uprościłem notację, której użyłeś dla zachowania spójności, a także wyraźnie podałem termin błędu w obu modelach.