W prostej regresji liniowej, skąd bierze się wzór na wariancję reszt?

Intuicja na temat znaków „plus” związanych z wariancją (z faktu, że nawet gdy obliczamy wariancję różnicy niezależnych zmiennych losowych, dodajemy ich wariancje) jest poprawna, ale śmiertelnie niekompletna: jeśli zaangażowane zmienne losowe nie są niezależne , zaangażowane są również kowariancje - i kowariancje mogą być ujemne. Istnieje wyrażenie, które jest prawie podobne do wyrażenia w pytaniu, które uważano, że „powinno” być przez OP (i mnie), i jest to wariant błędu prognozowania , oznacz to , gdzie : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

Krytyczna różnica między wariancją błędu prognozowania a wariancją błędu oszacowania (tj. Resztkowego) polega na tym, że wartość błędu przewidywanej obserwacji nie jest skorelowana z estymatorem , ponieważ wartość nie została użyta w konstruowanie estymatora i obliczanie szacunków, będących wartością spoza próby. $y^0$

Algebra dla obu przebiega dokładnie w ten sam sposób do pewnego punktu (używając zamiast ), ale potem się rozbiera. Konkretnie: $^0$ $_i$

W prostej regresji liniowej , , wariancja estymatora jest nadal $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

Mamy

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

a więc

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

Mamy

[n \sum x_{ja}^{2)} - {(\sum x_{ja})}^{2)}] = [n \sum x_{ja}^{2)} - n^{2)} {\bar{x}}^{2)}] = n [\sum x_{ja}^{2)} - n {\bar{x}}^{2)}] = n \sum (x_{ja}^{2)} - {\bar{x}}^{2)}) \equiv n {S.}_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

Więc

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{ja}^{2)} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / {S.}_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

co oznacza że

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

-tym resztkową określa się jako $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

Rzeczywiste współczynniki są traktowane jako stałe The REGRESSOR jest przymocowany (lub uzależnione od tego) i ma zerową wartość kowariancji z terminu błędu, ale że estymatory są skorelowane ze składnika błędu, ponieważ estymatory zawierać zmienną zależną, a zmienna zależna zawiera termin błędu. Więc mamy

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2) Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{ja}], u_{ja})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2)} + σ^{2)} (\frac{1}{n} + \frac{{\bar{x}}^{2)}}{{S.}_{x x}}) + x_{ja}^{2)} σ^{2)} (1 / {S.}_{x x}) + 2) Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{ja}], u_{ja})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Spakuj to trochę, aby uzyskać

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Termin w dużym nawiasie ma dokładnie taką samą strukturę z wariancją błędu prognozowania, z tą jedyną zmianą, że zamiast będziemy mieć (i wariancja będzie a nie ). Ostatni warunek kowariancji wynosi zero dla błędu prognozowania, ponieważ a zatem nie jest uwzględniony w estymatorach, ale nie zero dla błędu oszacowania, ponieważ a zatem jest częścią próbki, a zatem jest uwzględniony w taksator. Mamy $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

ostatnie podstawienie z obliczania . Kontynuując, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

Wstawiamy to do wyrażenia wariancji reszty, otrzymujemy

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

Czapki z głów przed tekstem używanym przez OP.

(Pominąłem pewne manipulacje algebraiczne, nic dziwnego, że algebry OLS uczy się coraz mniej…)

NIEKTÓRE INTUICJE

Wydaje się więc, że to, co działa „przeciwko” nam (większa wariancja) podczas przewidywania, działa „dla nas” (mniejsza wariancja) podczas szacowania. Jest to dobry punkt wyjścia do zastanowienia się, dlaczego doskonałe dopasowanie może być złym znakiem dla zdolności prognozowania modelu (choć może to zabrzmieć intuicyjnie ...).
Fakt, że jest oszacowanie oczekiwaną wartość regressor, zmniejsza się zmienność przez . Dlaczego? ponieważ poprzez oszacowanie „zamykamy oczy” na pewną zmienność błędów występującą w próbie, ponieważ zasadniczo szacujemy wartość oczekiwaną. Ponadto, im większe jest odchylenie obserwacji regresora od średniej próbki regresora, $1/n$ wariancja reszty związana z tą obserwacją będzie ... im bardziej dewiacyjna obserwacja, tym mniej dewiacyjna jej reszta ... To zmienność regresorów, która działa dla nas, poprzez „zajęcie” nieznanego błędu - zmienność.

Ale to dobrze dla oceny . W przypadku przewidywania te same rzeczy zwracają się przeciwko nam: teraz, nie biorąc pod uwagę, jakkolwiek niedoskonale, zmienności (ponieważ chcemy to przewidzieć), nasze niedoskonałe estymatory uzyskane z próby pokazują ich słabości: oszacowaliśmy średnia próbka, nie znamy prawdziwej oczekiwanej wartości - wariancja rośnie. Mamy które jest daleko od średniej próbki obliczonej na podstawie innych obserwacji - źle, nasza wariancja błędu prognozy dostaje kolejne wzmocnienie, ponieważ przewidywany będzie miał tendencję do błądzenia ... więcej język naukowy "optymalne predyktory w sensie zmniejszonej wariancji błędu prognozy, reprezentują $y^0$ $x^0$ $\hat y^0$ skurczenie w kierunku średniej przewidywanej zmiennej ". Nie próbujemy powielać zmienności zmiennej zależnej - po prostu staramy się pozostać" blisko średniej ".

Alecos Papadopoulos
źródło

Dziękuję za bardzo jasną odpowiedź! Cieszę się, że moja „intuicja” była poprawna.

Eric

Alecos, naprawdę nie sądzę, żeby to było właściwe.

Glen_b

@Alecos błąd polega na tym, że oszacowania parametrów są nieskorelowane z terminem błędu. Ta część: jest niewłaściwy.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

Glen_b

@Eric Przepraszam, że wprowadziłem cię w błąd wcześniej. Starałem się zapewnić intuicję dla obu formuł.

Alecos Papadopoulos,

+1 Możesz zobaczyć, dlaczego zrobiłem dla tego przypadku przypadek wielokrotnej regresji ... dzięki za włożenie dodatkowego wysiłku w wykonanie przypadku prostej regresji.

Glen_b

W prostej regresji liniowej, skąd bierze się wzór na wariancję reszt?

Odpowiedzi: