Czy istnieje elegancki / wnikliwy sposób zrozumienia tej tożsamości regresji liniowej dla wielu ?

W regresji liniowej doszedłem do cudownego wyniku, jeśli dopasujemy model

$$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$$

to jeśli znormalizujemy i wyśrodkujemy dane , i ,$Y$$X_1$$X_2$

$$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$$

Wydaje mi się, że jest to zmienna wersja dla regresji , co jest przyjemne.$R^2 = \mathrm{Cor}(Y,X)^2$$y=mx+c$

Ale jedyny dowód, jaki znam, nie jest w żaden sposób konstruktywny ani wnikliwy (patrz poniżej), a jednak patrząc na to wydaje się, że powinien być łatwo zrozumiały.

Przykładowe przemyślenia:

• Parametry i dają nam „proporcję” i w , więc bierzemy odpowiednie proporcje ich korelacji ...$\beta_1$$\beta_2$$X_1$$X_2$$Y$
• W y są częściowymi korelacje, jest kwadrat korelacji wielorakiej ... korelacje pomnożone przez częściowe korelacji ...$\beta$$R^2$
• Jeśli najpierw ortogonalizujemy, to s będzie ... czy ten wynik ma jakiś sens geometryczny?$\beta$$\mathrm{Cov}/\mathrm{Var}$

Żaden z tych wątków wydaje mi się nigdzie nie prowadzić. Czy ktoś może podać jasne wyjaśnienie, w jaki sposób zrozumieć ten wynik.

---

Niezadowalający dowód

$$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$$

i

$$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$$

CO BYŁO DO OKAZANIA.

Matryca kapeluszowa jest idempotentna.

(Jest to liniowo-algebraiczny sposób stwierdzenia, że ​​OLS jest ortogonalnym rzutem wektora odpowiedzi na przestrzeń rozpiętą przez zmienne.)

---

Przypomnij sobie to z definicji

$$R^2 = \frac{ESS}{TSS}$$

gdzie

$$ESS = (\hat Y)^\prime \hat Y$$

jest sumą kwadratów (wyśrodkowanych) przewidywanych wartości i

$$TSS = Y^\prime Y$$

jest sumą kwadratów (wyśrodkowanych) wartości odpowiedzi. Implikuje również uprzednia standaryzacja względem wariancji jednostek$Y$

$$TSS = Y^\prime Y = n.$$

Przypomnijmy również, że szacunkowe współczynniki są podane przez

$$\hat\beta = (X^\prime X)^{-} X^\prime Y,$$

skąd

$$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$$

gdzie jest „matryca hat” dokonywania projekcji na swych najmniejszych kwadratów dopasowania . Jest symetryczny (co wynika z samej jego formy) i idempotentny . Oto dowód tego drugiego dla tych, którzy nie znają tego wyniku. To tylko tasowanie nawiasów wokół:$H$$Y$$\hat Y$

$$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$$

W związku z tym

$$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$$

Kluczowy ruch w środku wykorzystał idempotencję matrycy kapelusza. Z prawej strony jest magicznych wzór ponieważ jest (wiersz) wektorem współczynników korelacji między i kolumny .$\frac{1}{n}Y^\prime X$$Y$$X$

Następujące trzy formuły są dobrze znane, można je znaleźć w wielu książkach o regresji liniowej. Nie jest trudno je uzyskać.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Jeśli podstawisz dwie bety do równania , otrzymasz powyższy wzór na R-kwadrat.$R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

---

Oto geometryczny „wgląd”. Poniżej znajdują się dwa zdjęcia pokazujące regresję przez i . Ten rodzaj reprezentacji jest znany jako zmienne jako wektory w przestrzeni tematycznej ( przeczytaj, o co chodzi). Obrazy są rysowane po wyśrodkowaniu wszystkich trzech zmiennych, a więc (1) długość każdego wektora = st. odchylenie odpowiedniej zmiennej i (2) kąt (jej cosinus) między każdymi dwoma wektorami = korelacja między odpowiednimi zmiennymi.$Y$$X_1$$X_2$

$\hat{Y}$ to prognoza regresji (rzut ortogonalny na „płaszczyznę X”); jest terminem błędu; , wielokrotny współczynnik korelacji.$Y$$e$$cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Lewy obraz przedstawia pochylać współrzędne z na zmiennych i . Wiemy, że takie współrzędne odnoszą się do współczynników regresji. Mianowicie współrzędne to: i .$\hat{Y}$$X_1$$X_2$$b_1|X_1|=b_1\sigma_{X_1}$$b_2|X_2|=b_2\sigma_{X_2}$

A prawe zdjęcie pokazuje odpowiednie współrzędne prostopadłe . Wiemy, że takie współrzędne odnoszą się do współczynników korelacji zerowego rzędu (są to cosinusy rzutów ortogonalnych). Jeśli jest korelacją między i a jest korelacją między i wówczas współrzędna to . Podobnie dla drugiej współrzędnej, .$r_1$$Y$$X_1$$r_1^*$$\hat Y$$X_1$$r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$$r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Do tej pory były to ogólne wyjaśnienia reprezentacji wektora regresji liniowej. Teraz zwracamy się do zadania, aby pokazać, w jaki sposób może on prowadzić do .$R^2 = r_1 \beta_1 + r_2 \beta_2$

Przede wszystkim przypomnij sobie, że w swoim pytaniu @Corone przedstawił warunek, że wyrażenie jest prawdziwe, gdy wszystkie trzy zmienne są znormalizowane , to znaczy nie tylko wyśrodkowane, ale także skalowane do wariancji 1. Następnie (tj. Sugerując aby być „częściami roboczymi” wektorów) mamy współrzędne równe: ; ; ; ; a także. Przerysuj, w tych warunkach, tylko „płaszczyzna X” powyższych zdjęć:$|X_1|=|X_2|=|Y|=1$$b_1|X_1|=\beta_1$$b_2|X_2|=\beta_2$$r_1|Y|=r_1$$r_2|Y|=r_2$$R=|\hat Y|/|Y|=|\hat Y|$

Na zdjęciu mamy parę prostopadłych współrzędnych oraz parę skośnych współrzędnych, z tego samego wektora o długości . Istnieje ogólna zasada uzyskiwania współrzędnych prostopadłych z ukośnych (lub z tyłu): , gdzie jest macierzą prostopadłych; jest matrycą skośną tej samej wielkości; i są symetryczną macierzą kątów (cosinusów) między nieortogonalnymi osiami.$\hat Y$$R$$\bf P = S C$$\bf P$points X axes$\bf S$$\bf C$axes X axes

$X_1$ i są w naszym przypadku osiami, przy czym jest cosinusem między nimi. Zatem i .$X_2$$r_{12}$$r_1 = \beta_1 + \beta_2 r_{12}$$r_2 = \beta_1 r_{12} + \beta_2$

Zastąpić te wyrażony poprzez sw @ corone oświadczeniu , a dostaniesz to , - to prawda , ponieważ dokładnie tak jest wyrażona przekątna równoległoboku (podbarwiona na zdjęciu) poprzez sąsiednie boki (ilość jest iloczynem skalarnym).$r$$\beta$$R^2 = r_1 \beta_1 + r_2 \beta_2$$R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

To samo dotyczy dowolnej liczby predyktorów X. Niestety, niemożliwe jest narysowanie podobnych obrazów za pomocą wielu predyktorów.