Alternatywny sposób uzyskiwania współczynników OLS

W innym moim pytaniu odpowiadający zastosował następujące wyprowadzenie współczynnika OLS:

Mamy model: gdzie nie jest obserwowany. Mamy : gdzie i .
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ $Z$ $plim {\hat{β}}_{1} = β_{1} + γ \frac{C o v (X_{1}^{*}, Z)}{V a r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Wygląda to inaczej niż zwykle , które widziałem w ekonometrii. Czy istnieje bardziej wyraźna prezentacja tego wyprowadzenia? Czy istnieje nazwa macierzy ? $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression Heisenberg
źródło

Jestem prawie pewien, że jest to opisane w notatkach z wykładu Hansena, ale nie mam ich teraz pod ręką.

FooBar

matrycy jest "annihilator" lub "resztkowa ekspres" matrycą związane z matrycą . Nazywa się to „anihilatorem”, ponieważ ( oczywiście dla własnej macierzy ). Nazywa się „resztkowym twórcą”, ponieważ , w regresji . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ $\mathbf X$ $\mathbf M\mathbf X =0$ $X$ $\mathbf M \mathbf y =\mathbf {\hat e}$ $\mathbf y = \mathbf X \beta + \mathbf e$

Jest to symetryczna i idempotentna matryca. Jest używany w dowodzie twierdzenia Gaussa-Markowa.

Jest także wykorzystywany w twierdzeniu Frischa – Waugh – Lovella , z którego można uzyskać wyniki dla „regresji partycjonowanej”, która mówi, że w modelu (w postaci macierzy)

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

mamy to

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

Ponieważ jest idempotentny, możemy ponownie napisać powyższe przez $\mathbf M_2$

{\hat{β}}_{1} = (X_{1}^{'} M_{2} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

a ponieważ jest również symetryczny, mamy $M_2$

{\hat{β}}_{1} = ([M_{2} X_{1}]^{'} [M_{2} X_{1}])^{- 1} ([M_{2} X_{1}]^{'} [M_{2} y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

Ale jest to estymator najmniejszych kwadratów z modelu

[M_{2} y] = [M_{2} X_{1}] β_{1} + M_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

i również $\mathbf M_2\mathbf y$ są pozostałości po regresie $\mathbf y$ na matrycy $\mathbf X_2$ tylko.

Innymi słowy: 1) Jeśli cofniemy się $\mathbf y$ na matrycy $\mathbf X_2$ tylko, a następnie zresetuj resztki z tego oszacowania na macierzy $\mathbf M_2\mathbf X_1$ tylko $\hat \beta_1$ szacunki, które uzyskamy, będą matematycznie równe oszacowaniom, które uzyskamy, jeśli cofniemy się $\mathbf y$ zarówno $\mathbf X_1$ i $\mathbf X_2$ razem w tym samym czasie, jak zwykle regresja wielokrotna.

Załóżmy teraz $\mathbf X_1$ nie jest matrycą, ale tylko jednym regresem, powiedzmy $\mathbf x_1$ . Następnie $\mathbf M_2 \mathbf x_1$ jest pozostałością po regresie zmiennej $X_1$ na matrycy regresora $\mathbf X_2$ . A to zapewnia intuicję tutaj: $\hat \beta_1$ daje nam efekt, który „część $X_1$ to jest niewyjaśnione przez $\mathbf X_2$ „ma” część $Y$ niewyjaśnione przez $\mathbf X_2$ „.

Jest to symboliczna część klasycznej algebry Least-Squares.

Alecos Papadopoulos
źródło

Zacząłem odpowiadać, ale z tą odpowiedzią wiele się pokrywało. Wiele z tych informacji można znaleźć w rozdziale 3.2.4 siódmej edycji „Analizy ekonometrycznej” Billa Greene'a.

cc7768

@ cc7768 Tak, to dobre źródło algebry najmniejszych kwadratów. Ale nie wahaj się opublikować dodatkowego materiału. Na przykład zasadniczo moja odpowiedź obejmuje tylko drugie pytanie PO.

Alecos Papadopoulos

@AlecosPapadopoulos mówisz, że jeśli się cofniemy

M_{2} y

$\mathbf M_2y$ na

X_{1}

$\mathbf X_1$ , również otrzymujemy

{\hat{β}}_{1}

$\hat \beta_1$ . Ale to równanie nie mówi: regres

M_{2} y

$\mathbf M_2y$ na

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$ zamiast?

Heisenberg

@ Heisenberg Prawidłowo. Literówka Naprawiono to i dodano trochę więcej.

Alecos Papadopoulos

Alternatywny sposób uzyskiwania współczynników OLS

Odpowiedzi: