Biorę kurs na modele regresji, a jedną z właściwości przewidzianych dla regresji liniowej jest to, że reszty zawsze sumują się do zera po uwzględnieniu przecięcia.
Czy ktoś może podać dobre wyjaśnienie, dlaczego tak jest?
regression
residuals
dts86
źródło
źródło
Odpowiedzi:
Wynika to bezpośrednio z równań normalnych, tj. Równań, które rozwiązuje estymator OLS,
Wektor w nawiasach jest oczywiście wektorem resztkowym lub rzutem na ortogonalne dopełnienie przestrzeni kolumn , jeśli lubisz algebrę liniową. Teraz dołączenie wektora jedności do macierzy , która, nawiasem mówiąc, nie musi znajdować się w pierwszej kolumnie, jak jest to zwykle wykonywane, prowadzi do X Xy X X
W przypadku dwóch zmiennych jest to jeszcze prostsze, ponieważ prowadzi do tego minimalizacja sumy kwadratów reszt
gdy weźmiemy pochodną w odniesieniu do przecięcia. Następnie przystępujemy do uzyskania znanego estymatora
gdzie ponownie widzimy, że konstrukcja naszych estymatorów narzuca ten warunek.
źródło
Jeśli szukasz raczej intuicyjnego wyjaśnienia.
W pewnym sensie model regresji liniowej jest niczym innym jak wymyślnym środkiem. Aby znaleźć średnią arytmetyczną powyżej niektórych wartości , znajdujemy wartość będącą miarą centralności w tym sensie, że suma wszystkich odchyleń (gdzie każde odchylenie jest zdefiniowane jako ) po prawej stronie średniej wartości jest równa sumie wszystkich odchyleń po lewej stronie tej średniej. Nie ma nieodłącznego powodu, dla którego ten środek jest dobry, nie mówiąc już o najlepszym sposobie opisania średniej próbki, ale z pewnością jest intuicyjny i praktyczny. Ważne jest to, że definiując w ten sposób średnią arytmetyczną, z konieczności wynika, że po skonstruowaniu średniej arytmetycznej wszystkie odchylenia od tej średniej muszą z definicji sumować się do zera!x¯ x1,x2,…,xn ui=xi−x¯
W regresji liniowej nie jest inaczej. Możemy dopasować linię tak, że suma wszystkich różnic pomiędzy naszymi wartościami zabudowanymi (które są na linii regresji) a rzeczywistymi wartościami, które są powyżej linii jest dokładnie równa sumie wszystkich różnic pomiędzy linii regresji, a wszystkie wartości poniżej linia. Ponownie, nie ma nieodłącznego powodu, dla którego jest to najlepszy sposób skonstruowania dopasowania, ale jest to proste i intuicyjne. Podobnie jak w przypadku średniej arytmetycznej: konstruując nasze dopasowane wartości w ten sposób, koniecznie wynika z konstrukcji, że wszystkie odchylenia od tej linii muszą sumować się do zera, w przeciwnym razie po prostu nie byłby to regresja OLS.
źródło
Gdy punkt przecięcia jest uwzględniony w wielu regresji liniowej, W regresji najmniejszych kwadratów suma kwadratów błędów jest zminimalizowana. Weź częściowe pochodna SSE w odniesieniu do i ustawienie jej na zero.y^i=β0+β1xi,1+β2xi,2+…+βpxi,p SSE=∑i=1n(ei)2=∑i=1n(yi−yi^)2=∑i=1n(yi−β0−β1xi,1−β2xi,2−…−βpxi,p)2 β0 ∂SSE∂β0=∑i=1n2(yi−β0−β1xi,1−β2xi,2−…−βpxi,p)1(−1)=−2∑i=1nei=0
Stąd reszty zawsze sumują się do zera, gdy punkt przecięcia jest uwzględniony w regresji liniowej.
źródło
Kluczową obserwacją jest to, że ponieważ model ma punkt przecięcia, , który jest pierwszą kolumną macierzy projektowej , można zapisać jako gdzie jest wektorem kolumny ze wszystkimi zerami, ale pierwszym składnikiem. Zauważ też, że w notacji macierzowej suma reszt wynosi zaledwie .1 X 1=Xe, e 1T(y−y^)
Dlatego====1T(y−y^)=1T(I−H)yeTXT(I−X(XTX)−1XT)yeT(XT−XTX(XTX)−1XT)yeT(XT−XT)y0.
źródło
Proste wyprowadzenie przy użyciu algebry macierzowej:
1 T e∑e można zapisać jako1Te
Następnie
M x M x ( M x 1 ) T y1Te=1T(Mxy) gdzie jest macierzą ortogonalną. Ponieważ jest symetryczny, możemy zmienić kolejność, aby
Mx Mx (Mx1)Ty
co jest równe zeru, jeśli i są ortogonalne, co ma miejsce, jeśli macierz regresorów zawiera punkt przecięcia (wektor , rzeczywiście). 1 x 1Mx 1 x 1
źródło
..
źródło