Czy sensowne jest dodanie do modelu członu kwadratowego, ale nie liniowego?

Mam (mieszany) model, w którym jeden z moich predyktorów powinien z góry być kwadratowo powiązany tylko z predyktorem (z powodu manipulacji eksperymentalnej). Dlatego chciałbym dodać do modelu tylko kwadratowy termin. Dwie rzeczy powstrzymują mnie od tego:

1. Myślę, że czytałem już gdzieś, że zawsze powinieneś uwzględniać wielomian niższego rzędu przy dopasowywaniu wielomianów wyższego rzędu. Zapomniałem, gdzie go znalazłem iw literaturze, na którą spojrzałem (np. Faraway, 2002; Fox, 2002) nie mogę znaleźć dobrego wyjaśnienia.
2. Kiedy dodam oba, liniowy i kwadratowy termin, oba są znaczące. Gdy dodam tylko jeden z nich, nie mają one znaczenia. Jednak liniowa relacja predyktora i danych nie jest możliwa do interpretacji.

Kontekst mojego pytania jest w szczególności oparty na modelu mieszanym lme4, ale chciałbym uzyskać odpowiedzi, które mogłyby wyjaśnić, dlaczego tak jest lub dlaczego nie jest właściwe wprowadzanie wielomianu wyższego rzędu, a nie wielomianu niższego rzędu.

W razie potrzeby mogę podać dane.

1. Dlaczego warto uwzględnić termin liniowy?

Dobrze jest zauważyć, że związek kwadratowy można zapisać na dwa sposoby:

$$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$$

(gdzie, porównując współczynniki, znajdujemy i a 2 b 2 + c = a 0 ). Wartość x = b odpowiada globalnemu ekstremum relacji (geometrycznie lokalizuje wierzchołek paraboli).$-2a_2 b = a_1$$a_2 b^2 + c = a_0$$x=b$

Jeśli nie podasz terminu liniowego , możliwości zostaną zmniejszone do$a_1 x$

$$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$$

(gdzie teraz oczywiście i zakłada się, że model zawiera stały składnik a 0 ). Oznacza to, że wymuszasz b = 0 .$c = a_0$$a_0$$b=0$

W świetle tego pytanie nr 1 sprowadza się do tego, czy jesteś pewien, że ekstremum globalne musi wystąpić przy . Jeśli tak, możesz bezpiecznie pominąć termin liniowy a 1 x . W przeciwnym razie musisz go dołączyć.$x=0$$a_1 x$

2. Jak rozumieć zmiany znaczenia, gdy terminy są uwzględnione lub wykluczone?

Jest to szczegółowo omówione w pokrewnym wątku na https://stats.stackexchange.com/a/28493 .

W niniejszej sprawie znaczenie wskazuje jest krzywizna w relacji i znaczenie w 1 wskazuje, że b jest niezerowe: to brzmi jak trzeba zawierać oba terminy (a także stała, oczywiście).$a_2$$a_1$$b$

@whuber udzielił tutaj naprawdę doskonałej odpowiedzi. Chcę tylko dodać mały punkt uzupełniający. Pytanie stwierdza, że ​​„liniowej relacji predyktora i danych nie można interpretować”. Wskazuje to na powszechne nieporozumienie, chociaż zwykle słyszę to na drugim końcu („jaka jest interpretacja kwadratu [sześcienny itp.]?”).

Kiedy mamy model z wieloma różnymi zmiennymi towarzyszącymi, każdy beta [termin] może ogólnie mieć własną interpretację. Na przykład, jeśli:

$$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$$

(GPA oznacza średnią punktową oceny;
ranga to porządek GPA studenta względem innych uczniów tego samego liceum; &
SAT oznacza „scholastyczny test umiejętności” standardowy, ogólnokrajowy test dla studentów wyjeżdżających na uniwersytet)

następnie możemy przypisać osobne interpretacje do każdej wersji beta / semestru. Na przykład, jeśli wysoki GPA szkolnych uczeń były 1 punkt wyżej - wszystkie pozostałe były równe - spodziewamy się ich kolegium GPA być punktów wyższy. $\beta_1$

Należy jednak pamiętać, że taka interpretacja modelu nie zawsze jest dopuszczalna. Jednym oczywistym przypadkiem jest interakcja między niektórymi zmiennymi, ponieważ nie byłoby możliwe, aby poszczególne terminy różniły się i nadal utrzymywały się na stałym poziomie - z konieczności zmieniłby się również termin interakcji. Tak więc, gdy zachodzi interakcja, nie interpretujemy głównych efektów, a jedynie proste efekty , co jest dobrze zrozumiane.

Sytuacja w kategoriach władzy jest bezpośrednio analogiczna, ale niestety nie wydaje się być szeroko rozumiana. Rozważmy następujący
(w tym przypadku, x , jest przeznaczony do reprezentowania prototypowego ciągły kowariancji), nie jest możliwe x zmianie bez x 2 zmiany także i nawzajem. Mówiąc najprościej, gdy w modelu występują terminy wielomianowe, różne terminy oparte na tej samej współzmiennej leżącej u podstaw nie są osobno interpretowane. X 2 (

$$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$$ $x$$x$$x^2$$x^2$$x$, itd.) termin nie ma żadnego niezależnego znaczenia. $x^{17}$ Fakt, że wielomian potęgowy jest w modelu „znaczący”, wskazuje, że w funkcji odnoszącej się do x i y występują „zagięcia” p - 1 . Niefortunne, ale nieuniknione jest to, że gdy pojawia się krzywizna, interpretacja staje się bardziej skomplikowana i być może mniej intuicyjna. Aby ocenić zmianę y jako x zmian, będziemy musieli korzystać z rachunku. Pochodną powyższego modelu jest: d $p$$p-1$$x$$y$$\hat{y}$$x$
czyli chwilowa szybkość zmian wartości oczekiwanejYjakoxzmian, wszystkie pozostałe elementy są takie same. To nie jest tak czyste, jak interpretacja bardzo topowego modelu; co ważne, chwilowe tempo zmianyzależy od poziomux,od którego ocenia się zmianę. Ponadto szybkość zmian wyjest szybkością chwilową; to znaczy, że sama zmienia się w sposób ciągły w przedziale odxolddoxne $$\frac{dy}{dx}=\beta_1+2\beta_2x$$ $y$$x$$y$ $x$$y$$x_{old}$$x_{new}$. Taka jest po prostu natura krzywoliniowej relacji.

$x=0$

$Y = b_0 + b_2(x - \bar{x})^2$$\bar{x}$$x$$x=\bar{x}$

Stwierdzenie, że zarówno liniowe, jak i kwadratowe terminy są znaczące, gdy oba zostaną wprowadzone, wymaga pewnego wyjaśnienia. Na przykład SAS może zgłosić test typu I i / lub typ III dla tego przykładu. Typ I testuje liniowość przed wprowadzeniem kwadratyki. Typ III bada liniowy z kwadratowym w modelu.

Brambor, Clark i Golder (2006) (dołączony do dodatku internetowego ) mają bardzo jasne podejście do rozumienia modeli interakcji i unikania typowych pułapek, w tym także dlaczego (prawie) zawsze należy uwzględniać warunki niższego rzędu ( „warunki konstytutywne”) w modelach interakcji.

Analitycy powinni uwzględniać wszystkie konstytutywne warunki przy określaniu multiplikatywnych modeli interakcji, z wyjątkiem bardzo rzadkich okoliczności. Przez konstytutywne terminy rozumiemy każdy element, który stanowi termin interakcji. [..]

$X^2$$XZJ$$X$$X^2$$X$$Z$$J$$XZ$$XJ$$ZJ$$XZJ$

Niezastosowanie się do tego może skutkować nieokreślonym modelem, który prowadziłby do stronniczych szacunków. Może to prowadzić do błędów wnioskowania.

$Z$$XZ$$X$$Z$$\beta_0$$\beta_1$$\beta_3$