Dlaczego suma kwadratów reszt nie rośnie podczas dodawania zmiennej objaśniającej?

W moim podręczniku ekonometrycznym (wprowadzającym ekonometrii) dotyczącym OLS autor pisze: „SSR musi upaść, gdy zostanie dodana inna zmienna objaśniająca”. Dlaczego tak jest

Zakładając, że masz model regresji liniowej, dla łatwej notacji rozważ najpierw jedną, a następnie dwie zmienne zmienne. Uogólnia to na dwa zestawy zmiennych zmiennych. Pierwszy model to

$$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$$ drugi model to $$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$$ Rozwiązuje się to poprzez minimalizację sumy kwadratów reszt, dla modelu pierwszego, który chcemy zminimalizować $\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$ a dla modelu drugiego chcesz zminimalizować $\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$. Powiedzmy, że znalazłeś poprawne estymatory dla modelu 1, a następnie możesz uzyskać dokładnie takie same kwadraty sumy resztkowej w modelu 2, wybierając te same wartości dla$\beta_0, \beta_1$ i wynajem $\beta_2=0$. Teraz możesz znaleźć resztkową niższą sumę kwadratów, szukając lepszej wartości dla$\beta_2$.

Podsumowując, modele są zagnieżdżone w tym sensie, że wszystko, co możemy modelować za pomocą modelu 1, można dopasować do modelu drugiego, model drugi jest bardziej ogólny niż model 1. Tak więc, w optymalizacji, mamy większą swobodę z modelem drugim, więc możemy zawsze znajdź lepsze rozwiązanie.

To naprawdę nie ma nic wspólnego ze statystykami, ale jest ogólnym faktem na temat optymalizacji.

SSR jest miarą rozbieżności między danymi a modelem szacunkowym.

Jeśli masz możliwość wzięcia pod uwagę innej zmiennej, to jeśli ta zmienna zawiera więcej informacji, dopasowanie byłoby naturalnie ściślejsze, co oznacza niższy wskaźnik SSR.