Czy do oszacowania można zastosować znormalizowane współczynniki w regresji liniowej ?

Interpretacja geometryczna zwykłej regresji najmniejszych kwadratów daje wymaganą zrozumienia.

Większość tego, co musimy wiedzieć, można zobaczyć w przypadku dwóch regresorów i z odpowiedzią . W standaryzowane współczynniki, lub „beta”, pojawiają się, gdy wszystkie trzy wektory są standaryzowane do wspólnej długości (które możemy podjąć, aby być jedność). Zatem i są wektorami jednostkowymi w płaszczyźnie znajdują się na okręgu jednostkowym - a jest wektorem jednostkowym w trójwymiarowej przestrzeni euklidesowej zawierającej tę płaszczyznę. Dopasowana wartość jest rzutem prostopadłym (prostopadłym) na . Ponieważ $x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ $y$ $E^2$ $R^2$ po prostu jest kwadratową długością , nie musimy nawet wizualizować wszystkich trzech wymiarów: wszystkie potrzebne informacje można narysować w tej płaszczyźnie. $\hat y$

Regresory ortogonalne

Najładniejsza sytuacja jest wtedy, gdy regresory są ortogonalne, jak na pierwszej figurze.

$Rycina 1, pokazująca regresory i $ \ hat y $ jako wektory w płaszczyźnie.$

Na tej i pozostałych figurach będę konsekwentnie rysował dysk jednostki na biało, a regresory jako czarne strzałki. zawsze będzie wskazywać bezpośrednio w prawo. Grube czerwone strzałki przedstawiają elementy w kierunkach i : to znaczy i . Długość to promień szarego koła, na którym leży - pamiętaj jednak, że jest $x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$ kwadratem tej długości.

Pitagorasa twierdzi

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

Ponieważ twierdzenie Pitagorasa ma dowolną liczbę wymiarów, rozumowanie to uogólnia się na dowolną liczbę regresorów, dając pierwszy wynik:

Gdy regresory są ortogonalne, równa się sumie kwadratów bet. $R^2$

Bezpośrednim następstwem jest to, że gdy występuje tylko jeden regresor - regresja jednoczynnikowa - jest kwadratem znormalizowanego nachylenia. $R^2$

Współzależny

Regresory ujemnie skorelowane spotykają się pod kątami większymi niż kąt prosty.

Na tym obrazie widać wizualnie, że suma kwadratów bety jest ściśle większa niż . Można to udowodnić algebraicznie, stosując Prawo Cosinusów lub pracując z macierzowym rozwiązaniem równań normalnych. $R^2$

Ustawiając dwa regresory prawie równolegle, możemy ustawić pobliżu początku (dla blisko ), podczas gdy nadal będzie on miał duże komponenty w kierunku i . Zatem nie ma ograniczeń co do tego, jak małe mogą być . $\hat y$ $R^2$ $0$ $x_1$ $x_2$ $R^2$

Wspomnijmy ten oczywisty wynik, naszą drugą ogólność:

Gdy regresory są skorelowane, może być dowolnie mniejsze niż suma kwadratów bet. $R^2$

Nie jest to jednak relacja uniwersalna, jak pokazuje następny rysunek.

Teraz ściśle przekracza sumę kwadratów bet. Poprzez sporządzenie dwóch regresorów blisko siebie i utrzymywanie pomiędzy nimi, możemy dokonać wartości beta zarówno podejścia , nawet wtedy, gdy znajduje się w pobliżu . Dalsza analiza może wymagać pewnej algebry: poniżej zajmę się tym. $R^2$ $\hat y$ $1/2$ $R^2$ $1$

Pozostawiam twojej wyobraźni skonstruowanie podobnych przykładów z dodatnio skorelowanymi regresorami, które w ten sposób spotykają się pod ostrymi kątami.

Zauważ, że te wnioski są niepełne: istnieją ograniczenia dotyczące tego, o ile mniej można porównać do sumy kwadratów bet. W szczególności, uważnie analizując możliwości, możesz dojść do wniosku (w przypadku regresji z dwoma regresorami), że $R^2$

Gdy regresory są dodatnio skorelowane, a beta mają wspólny znak, lub gdy regresory są ujemnie skorelowane, a bety mają różne znaki, musi być co najmniej tak duże, jak suma kwadratów bety. $R^2$

Wyniki algebraiczne

Ogólnie rzecz biorąc, niech regresorami będą (wektory kolumnowe) a odpowiedź będzie . Środki normalizacyjne (a) każdy jest prostopadły do wektora i (b) mają długości jednostkowe: $x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

Zmontowania wektory kolumnowe do w macierzy . Implikują to zasady mnożenia macierzy $x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

jest macierzą korelacji . Betę podaje równanie normalne, $x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

Co więcej, z definicji dopasowanie jest

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

Jego kwadratowa długość daje z definicji : $R^2$

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

Analiza geometryczna sugeruje, że szukamy nierówności dotyczących i sumy kwadratów bet, $R^2$

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

normą każdej macierzy jest sumą podniesionych do kwadratu jego współczynników (zasadniczo obróbkę matrycy w postaci wektora elementów w przestrzeni euklidesowej) $L_2$ $A$ $p^2$

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

Implikuje to nierówność Cauchy'ego-Schwarza

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

Ponieważ współczynniki korelacji do kwadratu nie mogą przekraczać a jest ich tylko w macierzy matrix , nie może przekraczać . W związku z tym $1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ $\sqrt{1\times p^2} = p$

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

Nierówność jest osiągana, na przykład, gdy wszystkie są doskonale pozytywnie skorelowane. $x_i$

Istnieje górna granica tego, jak duże mogą być . Jego średnia wartość na regresor, , nie może przekraczać sumy kwadratów znormalizowanych współczynników. $R^2$ $R^2/p$

Wnioski

Co możemy ogólnie wnioskować? Oczywiście informacje o strukturze korelacji regresorów, a także znaki bety, mogą być wykorzystane albo do ograniczenia możliwych wartości albo nawet do ich dokładnego obliczenia. Bez tej pełnej informacji niewiele można powiedzieć poza oczywistym faktem, że gdy regresory są liniowo niezależne, pojedyncza niezerowa beta oznacza, że jest niezerowe, co oznacza, że jest niezerowa. $R^2$ $\hat y$ $R^2$

Jedną rzeczą, którą możemy zdecydowanie wywnioskować z danych wyjściowych w pytaniu, jest to, że dane są skorelowane: ponieważ suma kwadratów , równa , przekracza maksymalną możliwą wartość (a mianowicie ), muszą być pewne korelacja. $1.1301$ $R^2$ $1$

Inną rzeczą jest to, że ponieważ największa beta (pod względem wielkości) ma wartość , której kwadrat wynosi znacznie przekraczając podaną wartość wynoszącą możemy stwierdzić, że niektóre regresory muszą być skorelowane ujemnie. (W rzeczywistości jest prawdopodobnie silnie ujemnie skorelowane z wiekiem, wagą i tłuszczem w każdej próbce, która obejmuje szeroki zakres wartości tego ostatniego.) $-0.83$ $0.69$ $R^2$ $0.20$ $\text{VO}_{2\,\text{max}}$

Gdyby były tylko dwa regresory, moglibyśmy wywnioskować znacznie więcej o ze znajomości wysokich korelacji regresora i kontroli bet, ponieważ to pozwoliłoby nam narysować dokładny szkic tego, jak , i musi być położony. Niestety dodatkowe regresory w tym sześciozmiennym problemie znacznie komplikują sytuację. Analizując dowolne dwie zmienne, musimy „wyjąć” lub „kontrolować” pozostałe cztery regresory („zmienne towarzyszące”). W ten sposób skracamy wszystkie , i $R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ w nieznanych ilościach (w zależności od tego, jak wszystkie trzy są powiązane ze zmiennymi towarzyszącymi), pozostawiając nam prawie nic nie wiedząc o rzeczywistych rozmiarach wektorów, z którymi pracujemy.

Whuber
źródło

+1, ale nie rozumiem, dlaczego w przypadku nieortogonalnym wektor prostopadły do osi predyktora, a nie sprawia, że rzutowane linie przerywane przebiegają równolegle do drugiego predyktora. Brzmi to nieporęcznie, ale myślę, że zrozumiecie, co mam na myśli. Twoje „Projekcje” (dwie mniejsze czerwone wektory) nie niektórzy je, aby uzyskać duży czerwony wektor.

\hat{y}

$\hat y$

\hat{y}

$\hat y$

ameba

@amoeba Masz całkowitą rację. Zbyt pochopnie tworzyłem te obrazy! Będę (mam nadzieję, że tymczasowo) usunąć ten post, dopóki nie będę miał okazji naprawić problemu. Dziękujemy za zwrócenie na to uwagi.

whuber

@Amoeba Poprawiłem zdjęcia i zmodyfikowałem analizę, aby je dopasować. Chociaż szczegóły uległy zasadniczej zmianie, wnioski pozostają takie same.

whuber

@amoeba Znowu masz rację. Z pewnym ryzykiem utraty zainteresowanych czytelników, ale teraz czuję się zmuszony do kwantyfikacji intuicji geometrycznej, zaostrzyłem ten wniosek i uzasadniłem go odrobiną algebry. (Ufam, że algebra jest poprawna!)

whuber

Wielkie dzięki! W skrócie, VO2max jest ujemnie skorelowane z wagą i BMI, ponieważ są one związane z wyższą beztłuszczową masą ciała. We wspomnianej tabeli VO2max faktycznie odpowiada VO2max podzielonemu przez wagę (co jest złym sposobem skalowania VO2max do wielkości ciała). VO2max / waga w tabeli jest ujemnie skorelowana ze wszystkimi innymi predyktorami, z wyjątkiem płci, co może wyjaśniać wysokie ß, ale niskie R-kwadrat, jak wspomniałeś.

Sakari Jukarainen,

Czy do oszacowania można zastosować znormalizowane współczynniki w regresji liniowej ?

Odpowiedzi:

Regresory ortogonalne

Współzależny

Wyniki algebraiczne

Wnioski