Intuicja za

Zamkniętą formę w regresji liniowej można zapisać jako

$\hat{w}=(X^TX)^{-1}X^Ty$

Jak intuicyjnie wyjaśnić rolę w tym równaniu?$(X^TX)^{-1}$

Uważam, że te posty są szczególnie pomocne:

Jak uzyskać estymator najmniejszych kwadratów dla wielokrotnej regresji liniowej?

Związek między SVD a PCA. Jak używać SVD do wykonywania PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Jeżeli jest n x s matrycy czym macierz X ( X , T X ) - 1 x T wyznacza występ na powierzchni kolumny X . Intuicyjnie, masz nadokreślony układ równań, ale nadal chcesz go używać do definiowania liniowa mapa R p → R , która będzie mapować wiersze x I od X do czegoś blisko wartości y i , i ∈ { 1 , ... , n $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$. Postanawiamy więc wysłać do najbliższej rzeczy y, która może być wyrażona jako liniowa kombinacja twoich cech (kolumny X ). $X$$y$$X$

Jeśli chodzi o interpretację , nie mam jeszcze niesamowitej odpowiedzi. Wiem, że możesz myśleć o ( X T X ) jako o zasadzie macierzy kowariancji zestawu danych.$(X^TX)^{-1}$$(X^TX)$

Geometryczny punkt widzenia

Geometrycznej punktu widzenia może być jak n-wymiarowych wektorów i X, p będących punktami w n-wymiarowej przestrzeni V . gdzie $y$$X\beta$$V$jest również w podprzestrzeniWobjętej przez wektoryX1,X2,⋯,xm.$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Dwa rodzaje współrzędnych

Dla tej podprzestrzeni możemy wyobrazić sobie dwa różne typy współrzędnych :$W$

• Do $\boldsymbol{\beta}$ są jak współrzędne dla regularnych współrzędnych przestrzeni. Wektor w przestrzeni W jest liniową kombinacją wektorów x i z = β 1 $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• Do $\boldsymbol{\alpha}$ nie są współrzędne w regularnych sensie, ale robią określić punkt w podprzestrzeni . Każde α $W$$\alpha_i$ odnosi się do prostopadłych rzutów na wektory . Jeśli stosujemy wektor jednostkowy x I (dla uproszczenia), a następnie „współrzędnych” a I do wektora Z może być wyrażona jako:$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  oraz zbiór wszystkich współrzędnych jako:

Mapowanie między współrzędnymi i $\boldsymbol{\alpha}$$\boldsymbol{\beta}$

dla wyrażenie „współrzędne” α staje się konwersją ze współrzędnych β na „współrzędne” $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Możesz zobaczyć jako wyrażenie, ile każdy x i rzutuje na drugi x $(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Następnie interpretację geometryczną można postrzegać jako mapę od wektorowych „współrzędnych” α do współrzędnych liniowych β .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

Wyrażenie podaje rzut „współrzędnych” y i$\mathbf{X^Ty}$$\mathbf{y}$ zamienia je w β .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Uwaga : W projekcji „Współrzędne” od są takie same, w postaci rzutu „współrzędnych” od Y od czasu $\mathbf{y}$ $\mathbf{\hat{y}}$ .$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Zakładając, że znasz prostą regresję liniową: i jej rozwiązanie : β = c o v

Łatwo zobaczyć, jak odpowiada licznikowi powyżej, a X ′ X odwzorowuje na mianownik. Ponieważ mamy do czynienia z macierzami, kolejność ma znaczenie. X ' X jest macierzą KxK, a X ' y jest wektorem Kx1. Dlatego kolejność jest następująca: ( X ′ X ) - $X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$