Równoważność korelacji próbki i statystyki R dla prostej regresji liniowej

Często uważa się, że kwadrat próbki korelacji $r^2$ jest równoważne $R^2$ współczynnik korelacji dla prostej regresji liniowej. Nie byłem w stanie sam tego wykazać i doceniłbym pełny dowód tego faktu.

Wydaje się, że pewne zmiany w notacji: w prostych regresji liniowej, jakie zazwyczaj postrzegane wyrażenie „próbka” o współczynnik korelacji symbolu jako odniesienie do korelacji między obserwowaną x i y wartości. To jest zapis, który przyjąłem dla tej odpowiedzi. Stwierdziliśmy też, że ten sam zwrot i symbol odnosi się do zależności między obserwowaną Y i dopasowano Y ; w mojej odpowiedzi mam, o których mowa to jako „stwardnienie współczynnika korelacji” i użył symbolu R . Ta odpowiedź dotyczy tego, dlaczego współczynnik determinacji jest zarówno kwadratem r, jak i kwadratem $r$$x$$y$$y$$\hat y$$R$$r$$R$, więc nie powinno mieć znaczenia, które użycie było zamierzone.

Wynik następuje w jednej linii algebry, gdy kilka prostych faktów na temat korelacji i znaczenia $r^2$$R$ ustaleniu , więc możesz chcieć przejść do równania w ramce. Zakładam, że nie musimy udowadniać podstawowych właściwości kowariancji i wariancji, w szczególności:

Var ( a X + b ) = a 2 Var

$$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$$ $$\text{Var}(aX+b) = a^2\text{Var}(X)$$

Zauważ, że to drugie można wyprowadzić z pierwszego, gdy wiemy, że kowariancja jest symetryczna i że . Stąd wywodzimy kolejny podstawowy fakt, dotyczący korelacji. Dla ≠ 0 , i tak długo jak X i $\text{Var}(X)= \text{Cov}(X,X)$$a \neq 0$$X$$Y$ mają niezerowe wariancji,

$$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$$

Tutaj jest znakiem lub funkcją znaku : jego wartość to sgn ( a ) = + 1, jeśli a > 0, i sgn ( a ) = - 1, jeśli a < 0 . Prawdą jest również, że sgn ( a ) = 0, jeśli a = 0 , ale ten przypadek nas nie dotyczy: a X + b a X + b $\text{sgn}(a)$$\text{sgn}(a) = +1$$a>0$$\text{sgn}(a) = -1$$a<0$$\text{sgn}(a) = 0$$a=0$$aX+b$ byłaby stała, więc w mianowniku i nie możemy obliczyć korelacji. Argumenty symetrii pozwalają uogólnić ten wynik$\text{Var}(aX+b) = 0$$a, \, c \neq 0$ :

$$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$$

Nie potrzebujemy tej bardziej ogólnej formuły, aby odpowiedzieć na bieżące pytanie, ale dołączam ją, aby podkreślić geometrię sytuacji: po prostu stwierdza, że ​​korelacja pozostaje niezmieniona, gdy zmienna jest skalowana lub tłumaczona, ale odwraca znak, gdy zmienna jest odzwierciedlone.

Potrzebujemy jeszcze jednego faktu: w przypadku modelu liniowego zawierającego stały składnik współczynnik determinacji jest kwadratem wielokrotnego współczynnika korelacji R , który jest korelacją między obserwowanymi odpowiedziami Y a dopasowanymi wartościami modelu$R^2$$R$$Y$ . Odnosi się to zarówno do wielokrotności i prostych regresji, ale niech nam ograniczyć naszą uwagę na prosty model liniowy Y = p 0+ P 1X. Wynik wynika z obserwacji, że Y jest skalowany, ewentualnie odbitym, a przetłumaczonej wersjiX:$\hat Y$$\hat Y = \hat \beta_0 + \hat \beta_1 X$$\hat Y$$X$

$$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$$

Zatem gdzie znak pasuje do znaku szacowanego nachylenia, co gwarantuje, że R nie będzie ujemny. Wyraźnie R 2 = r 2 .$R = \pm r$$R$$R^2 = r^2$

Poprzedni argument został uproszczony, ponieważ nie uwzględniono sum kwadratów. Aby to osiągnąć, że pomijane szczegóły dotyczące relacji między , które zwykle myśleć pod względem sumy kwadratów, oraz R , do którego myślenia o korelacji montowane i obserwowanych reakcji. Symbole sprawiają, że relacja R 2 = ( R ) 2 wydaje się tautologiczna, ale tak nie jest, a relacja rozpada się, jeśli w modelu nie ma terminu przecięcia! Ja pokrótce szkic geometrycznej argumentu o związku między R i R 2$R^2$$R$$R^2 = (R)^2$$R$$R^2$ pobranej z innego pytanie: schemat jest narysowany w (dla stałego składnika) i wektor obserwacji zmiennej objaśniającej, więc przestrzeń kolumny jest dwuwymiarowa.$n$-wymiarowa przestrzeń tematyczna , więc każda oś (nie pokazana) reprezentuje pojedynczą jednostkę obserwacji, a zmienne są pokazane jako wektory. Kolumny macierzy projektowej to wektor 1 $\mathbf{X}$$\mathbf{1_n}$

Zainstalowane Y jest prostopadły występ obserwowanego Y na powierzchni kolumny X . Oznacza to, że wektor reszt e = Y - Y jest prostopadła do płaskich, a tym samym do 1 n . Iloczyn punktowy wynosi 0 = 1 n ⋅ e = ∑ n i = 1 e i . Gdy reszty sumują się do zera, a Y i = ^ Y i + e i , to ∑ n$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{X}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$$Y_i = \hat{Y_i} + e_i$ tak, że oba montowane i obserwowane reakcje mają średnią ˉ Y . Linie przerywane na schemacie,$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$ i Y - °° Y 1 n , są zatemwyśrodkowanewektory do obserwowanych i dopasowano reakcji, oraz cosinusa kąta θ między nimi jest ich zależność$\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\theta$$R$ .

Trójkąt wektory te tworzą wektorem reszt się pod kątem prostym od Y - ˂ Y 1 n leży w płaskim, ale e$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\mathbf{e}$ jest prostopadła do niej. Stosowanie Pitagorasa:

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Jest to tylko rozkład sum kwadratów, . Konwencjonalny wzór na współczynnik determinacji wynosi 1 - S S $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ , która w tym trójkąta1-sin2θ=cos2θtak jest rzeczywiście kwadratR. Możesz być bardziej zaznajomiony ze wzoremR2= regresja S$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$1 - \sin^2 \theta = \cos^2 \theta$$R$ , co natychmiast dajecos2θ, ale zauważ, że1-SS jest$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$$\cos^2 \theta$ jest bardziej ogólny i (jak właśnie widzieliśmy) zmniejszy się do regresji S$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ jeśli model zawiera stały składnik.$\frac{SS_{\text{regression}}}{SS_{\text{total}}}$

$R^2$

$$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$$ The squared sample correlation coefficient: $$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$$ is equivalent, as it is easily verified using: $$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$$ (see Verbeek, §2.4)