W jaki sposób wartości rezydualne odnoszą się do podstawowych zakłóceń?

W metodzie najmniejszych kwadratów chcemy oszacować nieznane parametry w modelu:

Gdy to zrobimy (dla niektórych obserwowanych wartości), otrzymamy dopasowaną linię regresji:

Teraz oczywiście chcemy sprawdzić niektóre wykresy, aby upewnić się, że założenia zostały spełnione. Załóżmy, że chcesz sprawdzić homoscedastyczność, jednak w tym celu sprawdzamy resztki . Powiedzmy, że badasz wykres wartości rezydualnych i przewidywanych, jeśli to pokazuje nam, że heteroscedastyczność jest widoczna, to w jaki sposób odnosi się to do terminu zaburzenia ? Czy heteroscedastyczność w resztach implikuje heteroscedastyczność pod względem zakłóceń? $e_j$$\varepsilon_j$

Najprostszym sposobem, aby o tym pomyśleć, jest to, że surowe reszty ( ) są szacunkami odpowiednich zakłóceń ( ). Istnieją jednak dodatkowe komplikacje. Na przykład, chociaż zakładamy w standardowym modelu OLS, że błędy / zakłócenia są niezależne, resztki nie mogą być wszystkie. Zasadniczo tylko reszty mogą być niezależne, ponieważ użyłeś stopni swobody do oszacowania modelu średniego, a reszty są ograniczone do zsumowania do$e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$$0$. Ponadto odchylenie standardowe surowych pozostałości nie jest w rzeczywistości stałe. Zasadniczo linia regresji jest dopasowana w taki sposób, że będzie ona średnio bliższa punktom o większej dźwigni. W rezultacie standardowe odchylenie reszt dla tych punktów jest mniejsze niż odchylenie dla niskich punktów dźwigni. (Aby dowiedzieć się więcej na ten temat, pomocne może być przeczytanie, odpowiedzi tutaj: Interpreting plot.lm () i / lub tutaj: Jak przeprowadzić analizę resztkową dla binarnych / dychotomicznych niezależnych predyktorów w regresji liniowej? )

Związek między i jest następujący:$\hat{\varepsilon}$$\varepsilon$

gdzie , matryca kapelusz jest .$H$$X(X^TX)^{-1}X^T$

To znaczy, że jest liniową kombinacją wszystkich błędów, ale zazwyczaj większość ciężaru spada na ty.$\hat{\varepsilon}_i$$i$

Oto przykład z wykorzystaniem carszestawu danych w R. Rozważ punkt zaznaczony na fioletowo:

Nazwijmy to wskazywać . Resztkowe, , gdzie dla pozostałych błędów jest w zakresie -0,02:$i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

Możemy przepisać to jako:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

lub bardziej ogólnie

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

gdzie jest -tego elementu przekątnej . Podobnie powyższe to .$h_{ii}$$i$$H$$w_j$$h_{ij}$

Jeżeli błędy mają identyfikator wówczas w tym przykładzie ważona suma tych innych błędów będzie miała odchylenie standardowe odpowiadające około 1/7 wpływu błędu tej obserwacji na jego resztkową wartość .$N(0,\sigma^2)$$i$

To znaczy, że w dobrze zachowanych regresjach resztki można w większości traktować jak umiarkowanie głośne oszacowanie nieobserwowalnego terminu błędu. Kiedy bierzemy pod uwagę punkty dalej od centrum, rzeczy działają nieco mniej ładnie (reszta staje się mniej ważona na błędzie, a wagi innych błędów stają się mniej równe).

Przy wielu parametrach lub przy nie tak dobrze rozłożonych, reszty mogą być znacznie mniej podobne do błędów. Możesz spróbować kilku przykładów.$X$