Czy warto badać wykresy reszt w odniesieniu do zmiennej zależnej?

Chciałbym wiedzieć, czy warto badać wykresy reszt w odniesieniu do zmiennej zależnej, gdy mam regresję jednowymiarową. Jeśli ma to sens, co oznacza silna, liniowa, rosnąca korelacja między resztami (na osi y) a oszacowanymi wartościami zmiennej zależnej (na osi x)?

Załóżmy, że masz regresję , gdzie . Następnie . Im wyższa wartość , tym większa wartość rezydualna. Przeciwnie, wykres reszt względem powinien wykazywać żadnego systematycznego związku. Ponadto przewidywana wartość powinna być w przybliżeniu --- taka sama dla każdej obserwacji. Jeśli wszystkie przewidywane wartości są w przybliżeniu takie same, powinny być nieskorelowane z błędami.$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$

Co fabuła mówi mi, że i są zasadniczo niezwiązane (oczywiście, że są lepsze sposoby, aby pokazać to). Daj nam znać, jeśli Twój współczynnik nie jest bliski .$x$$y$$\hat{\beta}_1$

W celu lepszej diagnostyki użyj wykresu reszt w stosunku do przewidywanego wynagrodzenia lub wartości . Na tych wykresach nie powinieneś obserwować wyraźnego wzoru.$x$

Jeśli chcesz trochę demonstracji R, proszę:

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

Zakładając, że oszacowany model jest poprawnie określony ...

Oznaczmy , macierz jest macierzą projekcji, więc i .$P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$$P_X'=P_X$

$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$ .

Tak więc wykres rozproszenia reszt względem przewidywanej zmiennej zależnej nie powinien wykazywać korelacji.

Ale!

$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$ .

Macierz jest macierzą projekcji, jej wartości własne wynoszą 0 lub +1, jest to dodatnia półfinał. Powinien więc mieć wartości nieujemne na przekątnej. Zatem wykres rozproszenia reszt względem oryginalnej zmiennej zależnej powinien wykazywać korelację dodatnią.$\sigma^2(I-P_X)$

O ile wiem, Gretl domyślnie tworzy wykres reszt w stosunku do oryginalnej zmiennej zależnej (nie przewidywanej!).

Czy to możliwe, że mylisz wartości dopasowane / prognozowane z wartościami rzeczywistymi?

Jak powiedzieli @gung i @biostat, masz nadzieję, że nie ma związku między dopasowanymi wartościami a resztkami. Z drugiej strony należy oczekiwać liniowej zależności między rzeczywistymi wartościami zmiennej zależnej / wyniku a resztami i nie jest to szczególnie pouczające.

Dodano w celu wyjaśnienia poprzedniego zdania: Nie należy oczekiwać żadnej liniowej zależności między resztami a rzeczywistymi wartościami wyjściowymi ... W przypadku niskich zmierzonych wartości Y, przewidywane wartości Y z użytecznego modelu będą zwykle wyższe niż rzeczywiste zmierzone wartości i na odwrót.

Oferowane odpowiedzi dają mi kilka pomysłów na temat tego, co się tutaj dzieje. Wierzę, że mogły być jakieś błędy popełnione przez przypadek. Sprawdź, czy poniższa historia ma sens: Na początek myślę, że prawdopodobnie istnieje silny związek między X i Y w danych (oto trochę kodu i wykresu):

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

Ale przez pomyłkę Y przewidywano tylko ze średniej. Łącząc to, reszty ze średniego modelu są wykreślane względem X, nawet jeśli zamierzano wykreślić względem dopasowanych wartości (kod i wykres):

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

Możemy to naprawić, dopasowując odpowiedni model i wykreślając z niego resztki (kod i wykres):

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

Wydaje się, że to tylko takie głupstwa, które robiłem, kiedy zaczynałem.

Ten wykres wskazuje, że dopasowany model nie jest dobry. Jak powiedział @gung w pierwszych komentarzach do głównego pytania, że ​​nie powinno być związku między przewidywaną odpowiedzią a resztą.

„analityk powinien oczekiwać, że model regresji pomyli się w przewidywaniu reakcji w sposób losowy; model powinien przewidzieć wartości wyższe niż rzeczywiste i niższe niż rzeczywiste z jednakowym prawdopodobieństwem. Zobacz to ”

Poleciłbym pierwszą odpowiedź wykresu vs zmienną niezależną, aby zobaczyć związek między nimi. Uzasadnione może być dodanie do modelu terminów wielomianowych.

Czy nie dzieje się tak, jeśli nie ma związku między zmienną X i Y? Patrząc na ten wykres, wydaje się, że zasadniczo prognozujesz Y na podstawie jego średniej.

Myślę, że OP wykreślił resztki względem oryginalnej zmiennej odpowiedzi (nie dopasowanej zmiennej odpowiedzi z modelu). Cały czas widzę takie wykresy, z niemal identycznym wzorem. Upewnij się, aby wykreślić wartości resztkowe względem dopasowanych wartości, ponieważ nie jestem pewien, jaki sensowny wniosek można wyciągnąć z reszt względem oryginalnego Y. Ale z pewnością mogę się mylić.