Jak uzyskać estymator najmniejszych kwadratów dla wielokrotnej regresji liniowej?

W przypadku prostej regresji liniowej można uzyskać estymator najmniejszych kwadratów tak, że nie musisz znać aby oszacować$y=\beta_0+\beta_1x$$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$$\hat\beta_0$$\hat\beta_1$

Załóżmy, że mam $y=\beta_1x_1+\beta_2x_2$ , jak uzyskać $\hat\beta_1$ bez szacowania $\hat\beta_2$ ? czy to nie jest możliwe?

Wyprowadzenie w notacji macierzowej

Począwszy od $y= Xb +\epsilon$ , co tak naprawdę jest takie samo jak

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

wszystko sprowadza się do minimalizacji $e'e$ :

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Minimalizacja $e'e'$ daje nam:

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

e ′ e = y ′ y - 2 b ′ X ′ y + b ′ X ′ X $min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Ostatnia rzecz matematyczna, warunek drugiego rzędu dla minimum wymaga, aby macierz była dodatnia. To wymaganie jest spełnione, jeśli ma pełną rangę.$X'X$$X$

Dokładniejsze wyprowadzenie, które przechodzi przez wszystkie etapy w większym stopniu, można znaleźć pod http://economictheoryblog.com/2015/02/19/ols_estimator/

Możliwe jest oszacowanie tylko jednego współczynnika w regresji wielokrotnej bez szacowania innych.

Oszacowanie jest uzyskiwane poprzez usunięcie efektów z innych zmiennych, a następnie regresję reszt względem reszt . Jest to wyjaśnione i zilustrowane. Jak dokładnie kontroluje się inne zmienne? i jak znormalizować (a) współczynnik regresji? . Piękno tego podejścia polega na tym, że nie wymaga rachunku różniczkowego, algebry liniowej, można go wizualizować za pomocą tylko dwuwymiarowej geometrii, jest stabilny numerycznie i wykorzystuje tylko jedną podstawową ideę regresji wielokrotnej: wyjęcie (lub „kontrolowanie”) ) skutki pojedynczej zmiennej.x 2 y x $\beta_1$$x_2$$y$$x_1$

---

W niniejszym przypadku regresję wielokrotną można wykonać za pomocą trzech zwykłych kroków regresji:

1. Zresetuj na x 2 (bez stałego terminu!). Niech dopasowanie będzie y = α y , 2 x 2 + δ . Szacunkowa wartość to α y , 2 = ∑ i y i x 2 $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$ Dlatego reszty wynosząδ=y-αy,2x2. Geometrycznieδjest tym, co pozostałozypoodjęciujego rzutu nax2.

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. Regresuj na x 2 (bez stałego wyrażenia). Niech dopasowanie będzie x 1 = α 1 , 2 x 2 + γ . Szacunkowa wartość to α 1 , 2 = ∑ i x 1 i x 2 $x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$Resztki wynosząγ=x1-α1,2x2. Geometrycznieγjest pozostałością pox1poodjęciujego rzutu nax2.

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. Zresetuj na γ (bez stałego członu). Oszacowanie to β 1 = Σ i δ i γ $\delta$$\gamma$Dopasowanie będzieδ= β 1γ+ε. Geometrycznie p 1jest składnikiemhemibursztynianu(co oznaczarzx2wyprowadzony) wykierunku (co oznaczax1zx2wyjęty).

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

Zauważ, że nie zostało oszacowane. $\beta_2$ Z łatwością można uzyskać z tego, co zostało do tej pory uzyskano (jak β 0 w zwykłym przypadku regresji można łatwo otrzymać z oszacowania nachylenia β 1 ). W ε o pozostałości na dwuwymiarowym regresji Y o x 1 oraz x 2 .$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

Równoległość ze zwykłą regresją jest silna: kroki (1) i (2) są analogami odejmowania średnich według zwykłego wzoru. Jeśli pozwolisz, by był wektorem jedności, w rzeczywistości odzyskasz zwykłą formułę.$x_2$

Uogólnia to w sposób oczywisty do regresji z więcej niż dwóch zmiennych do oceny β 1 , regres y i x 1 niezależnie od wszystkich innych zmiennych, a następnie regresji ich pozostałości na siebie. W tym momencie nie oszacowano jeszcze żadnego z innych współczynników regresji wielokrotnej y .$\hat\beta_1$$y$$x_1$$y$

Zwykłe oszacowanie najmniejszych kwadratów jest funkcją liniową zmiennej odpowiedzi$\beta$ . Mówiąc najprościej, OLS oszacowania współczynników, na „s, mogą być pisane tylko zmienną zależną ( Y I ”) i zmiennych niezależnych ( X k I „s).$\beta$$Y_i$$X_{ki}$

Aby wyjaśnić ten fakt ogólnym modelem regresji, musisz zrozumieć małą algebrę liniową. Załóżmy, że chcesz oszacować współczynniki w modelu regresji wielokrotnej,$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

gdzie dla I = 1 , . . . , n . Matryca wzór X to N x K tabeli, w której każda z kolumn zawiera n obserwacje k t h zmienna zależna X k . Można znaleźć wiele wyjaśnień oraz pochodne tutaj o wzorze wykorzystano do obliczenia szacunkowej współczynników beta$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$ , który jest$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

przy założeniu, że istnieje odwrotność . Oszacowane współczynniki są funkcjami danych, a nie innych oszacowanych współczynników.$(\mathbf{X}^\prime \mathbf{X})^{-1}$

$\beta_0, \beta_1, \beta_2 ... \beta_n$

$$\hat{\beta} = (X'X)^{-1} X'Y$$

$X$$Y$

$e_i$$i$

$$e_i = y_i - \hat{y_i}$$

Całkowity błąd kwadratowy, który popełniamy, wynosi teraz:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

Ponieważ mamy model liniowy, wiemy, że:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

Which can be rewritten in matrix notation as:

$$\hat{Y} = X\beta$$

We know that

$$\sum_{i=1}^n e_i^2 = E'E$$

We want to minimize the total square error, such that the following expression should be as small as possible

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

This is equal to:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

The rewriting might seem confusing but it follows from linear algebra. Notice that the matrices behave similar to variables when we are multiplying them in some regards.

We want to find the values of $\beta$ such that this expression is as small as possible. We will need to differentiate and set the derivative equal to zero. We use the chain rule here.

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

This gives:

$$X'X\beta = X'Y$$

Such that finally:

$$\beta = (X'X)^{-1} X'Y$$

So mathematically we seem to have found a solution. There is one problem though, and that is that $(X'X)^{-1}$ is very hard to calculate if the matrix $X$ is very very large. This might give numerical accuracy issues. Another way to find the optimal values for $\beta$ in this situation is to use a gradient descent type of method. The function that we want to optimize is unbounded and convex so we would also use a gradient method in practice if need be.

A simple derivation can be done just by using the geometric interpretation of LR.

Linear regression can be interpreted as the projection of $Y$ onto the column space $X$. Thus, the error, $\hat{\epsilon}$ is orthogonal to the column space of $X$.

Therefore, the inner product between $X'$ and the error must be 0, i.e.,

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Which implies that,

$(X'X)^{-1}X'y = \hat{\beta}$.

Now the same can be done by:

(1) Projecting $Y$ onto $X_2$ (error $\delta = Y-X_2 \hat{D}$), $\hat{D} = (X_2'X_2)^{-1}X_2'y$,

(2) Projecting $X_1$ onto $X_2$ (error $\gamma = X_1 - X_2 \hat{G}$), $\hat{G} = (X_1'X_1)^{-1}X_1X_2$,

and finally,

(3) Projecting $\delta$ onto $\gamma$, $\hat{\beta}_1$