Jaka jest oczekiwana korelacja między zmienną resztkową a zależną?

26

W wielokrotnej regresji liniowej rozumiem, że korelacje między resztą a predyktorami wynoszą zero, ale jaka jest oczekiwana korelacja między resztą a zmienną kryterium? Czy powinno być zerowe czy wysoce skorelowane? Jakie jest tego znaczenie?

Jfly
źródło
4
Co to jest „zmienna kryterium”?
whuber
2
@ whuber Zgaduję, że Jfly odnosi się do odpowiedzi / wyniku / zależnej / itd. zmienna. davidmlane.com/hyperstat/A101702.html Interesujące jest zobaczenie wielu nazw takich zmiennych: en.wikipedia.org/wiki/…
Jeromy Anglim
@Jeromy Thanks! Domyślałem się, że to jest sens, ale nie byłem pewien. To dla mnie nowy termin - i oczywiście dla Wikipedii.
whuber
Myślałbym, że będzie to równe lub coś podobnego, ponieważE [ R 2 ], E[R2]R 2 = [ C O R R ( R , R ) ] 2R2=[corr(y,y^)]2
probabilislogic
y = f ( x ) + ey=f(x)+e , gdzie jest funkcją regresji, jest błędem, a . Następnie . To przykładowa statystyka; jego oczekiwana wartość byłaby podobna, ale bałagan. f fe eC o v ( f ( x ) , e ) = 0 Cov(f(x),e)=0C o r r ( y , e ) = S D ( e ) / S D ( y ) = 1 - R 2doo r r ( y, e ) = SD ( e ) / SD ( y) = 1 - R2)------
Ray Koopman,

Odpowiedzi:

20

W modelu regresji:

y i = x i β + u i

yja= xjaβ+ui

zwykle przyjmuje się, że , jest próbką id. Przy założeniu, że i ma pełną rangę, zwykły estymator najmniejszych kwadratów:( R i , x I , U i ) i = 1 , . . . , n E x i u i = 0 E ( x i x i )(yi,xi,ui)i=1,...,nExiui=0E(xixi)

ˆβ=(ni=1xixi)1i=1xiyi

βˆ=(i=1nxixi)1i=1xiyi

jest spójny i asymptotycznie normalny. Oczekiwana kowariancja między zmienną resztkową a zmienną odpowiedzi wynosi wtedy:

Eyiui=E(xiβ+ui)ui=Eu2i

Eyiui=E(xiβ+ui)ui=Eu2i

Jeśli ponadto założymy, że i , możemy obliczyć oczekiwaną kowariancję między i resztkową regresją:E(ui|x1,...,xn)=0E(ui|x1,...,xn)=0E(u2i|x1,...,xn)=σ2E(u2i|x1,...,xn)=σ2yiyi

Eyiˆui=Eyi(yixiˆβ)=E(xiβ+ui)(uixi(ˆββ))=E(u2i)(1Exi(nj=1xjxj)1xi)

Eyiuˆi=Eyi(yixiβˆ)=E(xiβ+ui)(uixi(βˆβ))=E(u2i)1Exi(j=1nxjxj)1xi

Teraz, aby uzyskać korelację, musimy obliczyć i . Okazało się, żeVar(yi)Var(yi)Var(ˆui)Var(u^i)

Var(ˆui)=E(yiˆui),

Var(u^i)=E(yiu^i),

stąd

Corr(yi,ˆui)=1Exi(nj=1xjxj)1xi

Corr(yi,u^i)=1Exi(j=1nxjxj)1xi

Obecnie termin pochodzi od przekątnej macierzy kapelusza , gdzie . Macierz jest idempotentna, a zatem spełnia następującą właściwośćxi(nj=1xjxj)1xixi(nj=1xjxj)1xiH=X(XX)1XH=X(XX)1XX=[xi,...,xN]X=[xi,...,xN]HH

trace(H)=ihii=rank(H),

trace(H)=ihii=rank(H),

gdzie jest przekątną termin . jest numerem zmiennych liniowo niezależne w , która jest zwykle ilość zmiennych. Nazwijmy to . Liczba ma wielkość próbki . Mamy więc nieujemnych warunków, które powinny sumować się do . Zwykle jest znacznie większe niż , stąd duża część byłaby bliska zeru, co oznacza, że ​​korelacja między zmienną resztkową a zmienną odpowiedzi byłaby bliska 1 dla większej części obserwacji.hiihiiHHrank(H)rank(H)xixipphiihiiNNNNppNNpphiihii

Termin jest również używany w różnych diagnostykach regresji do określania wpływowych obserwacji.hiihii

mpiktas
źródło
10
+1 To jest dokładnie właściwa analiza. Ale dlaczego nie dokończysz pracy i nie odpowiesz na pytanie? OP pyta, czy ta korelacja jest „wysoka” i co może oznaczać .
whuber
Można więc powiedzieć, że korelacja jest z grubsza 1 - pN1pN
probabilislogiczny
1
Korelacja jest inna dla każdej obserwacji, ale tak, można to powiedzieć, pod warunkiem, że X nie ma wartości odstających.
mpiktas
21

Korelacja zależy R 2 . Jeśli R 2 jest wysoki, oznacza to, że znaczna część zmienności zmiennej zależnej swojej można przypisać zmianom w swoich niezależnych zmiennych, a nie swoje pojęcie o błędzie.R2R2

Jednakże, jeśli R 2 jest niska, wówczas oznacza to, że znaczna część zmienności zmiennej zależnej jest związana swoim zmianom w swoich niezależnych zmiennych, a więc muszą być związane z określeniem błędu.R2

Rozważ następujący model:

Y = X β + ε , gdzie Y i X są nieskorelowane.Y=Xβ+εYX

Zakładając, że warunki CLT wystarczają do utrzymania.

Β będą zbliżać się do0, odXiYsą nieskorelowane. Zatem Y =X β zawsze zero. Tak więc,ε:=Y - Y =Y-0=Y. εiYsą doskonale skorelowane !!!β^0XYY^=Xβ^ε:=YY^=Y0=YεY

Trzymając wszystko inne ustalone, zwiększenie R 2 zmniejszy korelację między błędem a zależnym. Silna korelacja niekoniecznie jest powodem do niepokoju. Może to po prostu oznaczać, że podstawowy proces jest głośny. Jednak mała R 2 (a tym samym wysoka korelacja pomiędzy błędem i utrzymaniu) może wynikać z modelu być błąd.R2R2

Matt
źródło
I ta odpowiedź jest mylące, w części poprzez jej wykorzystania „ ε ” stanąć zarówno dla warunków błędów w modelu i reszt Y - Y . Innym punktem zamieszania jest odniesienie do „zbieżności”, mimo że nie ma w ogóle żadnej sekwencji dowodów, do których mogłaby mieć zastosowanie konwergencja. Założenie, że X i Y są nieskorelowane, wydaje się szczególne i nie ilustruje ogólnych okoliczności. Wszystko to przesłania wszystko, co ta odpowiedź może powiedzieć lub które twierdzenia są ogólnie prawdziwe. εYY^XY
whuber
17

Uważam ten temat za dość interesujący, a obecne odpowiedzi są niestety niepełne lub częściowo mylące - pomimo znaczenia i wysokiej popularności tego pytania.

Definicji klasycznego OLS ramach nie powinno być żadnego związku między Y i Uŷ u^ , ponieważ pozostałości otrzymywane są na konstrukcji nieskorelowane z y podczas wyznaczania estymatora OLS. Właściwość minimalizująca wariancję przy homoskedastyczności zapewnia, że ​​błąd resztkowy jest losowo rozkładany wokół dopasowanych wartości. Można to formalnie pokazać:ŷ 

Cov ( Y , U | X ) = Cov ( P Y , M r | X ) = Cov ( P R , ( I - P ) T | X ) = P cov ( R , R ) ( I - P ) ' = P σ 2 - P σ 2 = 0

Cov(ŷ ,û |X)=Cov(Py,My|X)=Cov(Py,(IP)y|X)=PCov(y,y)(IP)
=Pσ2Pσ2=0

Gdzie M i P są macierzami idempotentnych zdefiniowane jako: P = X ( X " X ), X ' i M = I - P .MPP=X(XX)XM=IP

Wynik ten opiera się na ścisłej egzogeniczności i homoskedastyczności i praktycznie mieści się w dużych próbkach. Intuicji ich uncorrelatedness jest następujący: dopasowanej wartości Y uwarunkowane X są wokół U , które jak się uważa, jako niezależny i jednakowo rozdzielone. Jednakże, wszelkie odchylenia od ścisłego egzogeniczność i homoskedasticity założeniu mogą powodować zmienne objaśniające się endogennego i pobudzić utajony korelację pomiędzy U i Y . ŷ Xû û ŷ 

Teraz korelacja pomiędzy reszt kształcie U i „oryginalny” y to zupełnie inna historia:û y

Cov(y,û|X)=Cov(yMy|X)=Cov(y,(1P)y)=Cov(y,y)(1P)=σ2M

Cov(y,û |X)=Cov(yMy|X)=Cov(y,(1P)y)=Cov(y,y)(1P)=σ2M

Some checking in the theory and we know that this covariance matrix is identical to the covariance matrix of the residual ˆuu^ itself (proof omitted). We have:

Var(û)=σ2M=Cov(y,û|X)

Var(û )=σ2M=Cov(y,û |X)

If we would like to calculate the (scalar) covariance between yy and ˆuu^ as requested by the OP, we obtain:

Covscalar(y,û|X)=Var(û|X)=(u2i)/N

Covscalar(y,û |X)=Var(û |X)=(u2i)/N

(= by summing up of the diagonal entries of the covariance matrix and divide by N)

The above formula indicates an interesting point. If we test the relationship by regressing yy on the residuals ˆuu^ (+constant), the slope coefficient βˆu,y=1βu^,y=1, which can be easily derived when we divide the above expression by the Var(û|X)Var(û |X).

On the other hand, the correlation is the standardized covariance by the respective standard deviations. Now, the variance matrix of the residuals is σ2Mσ2M, while the variance of yy is σ2Iσ2I. The correlation Corr(y,û)Corr(y,û ) becomes therefore:

Corr(y,û)=Var(û)Var(ˆu)Var(y)=Var(û)Var(y)=Var(û)σ2

Corr(y,û )=Var(û )Var(u^)Var(y)=Var(û )Var(y)=Var(û )σ2

This is the core result which ought to hold in a linear regression. The intuition is that the Corr(y,û)Corr(y,û ) expresses the error between the true variance of the error term and a proxy for the variance based on residuals. Notice that the variance of yy is equal to the variance of ˆyy^ plus the variance of the residuals ˆuu^. So it can be more intuitively rewritten as:

Corr(y,û)=11+Var(^y)Var(û)

Corr(y,û )=11+Var(y)^Var(û )

The are two forces here at work. If we have a great fit of the regression line, the correlation is expected to be low due to Var(û)0Var(û )0. On the other hand, Var(ˆy)Var(y^) is a bit of a fudge to esteem as it is unconditional and a line in parameter space. Comparing an unconditional and conditional variances within a ratio may not be an appropriate indicator after all. Perhaps, that's why it rarely done in practice.

An attempt conclude the question: The correlation between yy and ûû  is positive and relates to the ratio of the variance of the residuals and the variance of the true error term, proxied by the unconditional variance in yy. Hence, it is a bit of a misleading indicator.

Notwithstanding this exercise may give us some intuition on the workings and inherent theoretical assumptions of an OLS regression, we rarely evaluate the correlation between yy and ûû . There are certainly more established tests for checking properties of the true error term. Secondly, keep in mind that the residuals are not the error term, and tests on residuals ûû  that make predictions of the characteristics on the true error term uu are limited and their validity need to be handled with utmost care.

For example, I would like to point out a statement made by a previous poster here. It is said that,

"If your residuals are correlated with your independent variables, then your model is heteroskedastic..."

I think that may not be entirely valid in this context. Believe it or not, but the OLS residuals ûû  are by construction made to be uncorrelated with the independent variable xkxk. To see this, consider:

Xui=XMy=X(IP)y=XyXPy

Xui=XMy=X(IP)y=XyXPy
=XyXX(XX)Xy=XyXy=0
=XyXX(XX)Xy=XyXy=0
Xui=0Cov(X,ui|X)=0Cov(xki,ui|xki)=0
Xui=0Cov(X,ui|X)=0Cov(xki,ui|xki)=0

However, you may have heard claims that an explanatory variable is correlated with the error term. Notice that such claims are based on assumptions about the whole population with a true underlying regression model, that we do not observe first hand. Consequently, checking the correlation between yy and ûû  seems pointless in a linear OLS framework. However, when testing for heteroskedasticity, we take here into account the second conditional moment, for example, we regress the squared residuals on XX or a function of XX, as it is often the case with FGSL estimators. This is different from evaluating the plain correlation. I hope this helps to make matters more clear.

Majte
źródło
1
Note that we have var(ˆu)var(y)=SSETSS=1R2var(u^)var(y)=SSETSS=1R2 (at least roughly anyway). This gives corr(y,ˆu)=1R2corr(y,u^)=1R2 which is some further intuition about what you mention in later paragraphs.
probabilityislogic
2
What I find interesting about this answer is that the correlation is always positive.
probabilityislogic
You state that Var(y)Var(y) is matrix, yet you divide by it.
mpiktas
@probabilityislogic: Not sure if I can follow your step. It would be then under the squareroot 1+(1/1-R^2), which is (2-R^2)/(1-R^2)? Yet what's true is that it remains positive. The intuition is that if you have a line through a scatterplot, and you regress this line on errors from that line, it should be obvious that as the value y of that line increases the value of the residuals increase as well. This is because the residuals are positively dependent on y by construction.
Majte
@mpiktas: In this case the matrix becomes a scalar as we are dealing y being only in one dimension.
Majte
6

The Adam's answer is wrong. Even with a model that fits data perfectly, you can still get high correlation between residuals and dependent variable. That's the reason no regression book asks you to check this correlation. You can find the answer on Dr. Draper's "Applied Regression Analysis" book.

Jeff
źródło
3
Even if correct, this is more of an assertion than an answer according to CV's standards, @Jeff. Would you mind elaborating / backing up your claim? Even just a page number & edition of Draper & Smith would suffice.
gung - Reinstate Monica
4

So, the residuals are your unexplained variance, the difference between your model's predictions and the actual outcome you're modeling. In practice, few models produced through linear regression will have all residuals close to zero unless linear regression is being used to analyze a mechanical or fixed process.

Ideally, the residuals from your model should be random, meaning they should not be correlated with either your independent or dependent variables (what you term the criterion variable). In linear regression, your error term is normally distributed, so your residuals should also be normally distributed as well. If you have significant outliers, or If your residuals are correlated with either your dependent variable or your independent variables, then you have a problem with your model.

If you have significant outliers and non-normal distribution of your residuals, then the outliers may be skewing your weights (Betas), and I would suggest calculating DFBETAS to check the influence of your observations on your weights. If your residuals are correlated with your dependent variable, then there is a significantly large amount of unexplained variance that you are not accounting for. You may also see this if you're analyzing repeated observations of the same thing, due to autocorrelation. This can be checked for by seeing if your residuals are correlated with your time or index variable. If your residuals are correlated with your independent variables, then your model is heteroskedastic (see: http://en.wikipedia.org/wiki/Heteroscedasticity). You should check (if you haven't already) if your input variables are normally distributed, and if not, then you should consider scaling or transforming your data (the most common kinds are log and square-root) in order to make it more normalized.

In the case of both, your residuals, and your independent variables, you should take a QQ-Plot, as well as perform a Kolmogorov-Smirnov test (this particular implementation is sometimes referred to as the Lilliefors test) to make sure that your values fit a normal distribution.

Three things that are quick and may be helpful in dealing with this problem, are examining the median of your residuals, it should be as close to zero as possible (the mean will almost always be zero as a result of how the error term is fitted in linear regression), a Durbin-Watson test for autocorrelation in your residuals (especially as I mentioned before, if you are looking at multiple observations of the same things), and performing a partial residual plot will help you look for heteroscedasticity and outliers.

Adam
źródło
Thank you very much. Your explanation is very helpful to me.
Jfly
1
+1 Nice, comprehensive answer. I'm going to nitpick on 2 points. "If your residuals are correlated with your independent variables, then your model is heteroskedastic"--I would say that if the variance of your residuals depends on the level of an independent variable, then you have heteroscedasticity. Also, I have heard the Kolmogorov-Smirnov/Lilliefors tests described as "notoriously unreliable," and in practive I have certainly found this to be true. Better to make a subjective determination based on a Q-Q plot or a simple histogram.
rolando2
4
The claim that "the residuals from your model... should not be correlated with... your... dependent variable" is not generally true, as explained in other answers on this thread. Would you mind correcting this post?
gung - Reinstate Monica
1
(-1) I think this post is not relevant enough to the question asked. It is good as general advice, but perhaps a case of the "right answer to the wrong question".
probabilityislogic