Dlaczego korelacja reszt nie ma znaczenia przy testowaniu normalności?

Gdy (tzn. pochodzi z modelu regresji liniowej), w tym przypadku resztki są skorelowane i nie są niezależne. Ale kiedy wykonujemy diagnostykę regresji i chcemy przetestować założenie , każdy podręcznik sugeruje użycie wykresów Q – Q i testów statystycznych dla reszt które zostały zaprojektowane do testowania, czy dla niektórych . $Y = AX + \varepsilon$ $Y$

ε \sim N (0, σ^{2} I) \Rightarrow \hat{e} = (I - H) Y \sim N (0, (I - H) σ_{}^{2})

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$

{\hat{e}}_{1}, \dots, {\hat{e}}_{n}

$\hat{e}_1, \ldots, \hat{e}_n$

ε \sim N (0, σ^{2} I)

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$

\hat{e}

$\hat{e}$

\hat{e} \sim N (0, σ^{2} I)

$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$

σ^{2} \in R

$\sigma^2 \in \mathbb{R}$

Dlaczego dla tych testów nie ma znaczenia, że reszty są skorelowane, a nie niezależne? Często zaleca się stosowanie standardowych reszt: ale to czyni je tylko homoscedastycznymi, a nie niezależnymi.

{\hat{e}}_{i}^{'} = \frac{{\hat{e}}_{i}}{\sqrt{1 - h_{i i}}},

$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$

Przeformułowanie pytania: Reszty z regresji OLS są skorelowane. Rozumiem, że w praktyce korelacje te są tak małe (przez większość czasu? Zawsze?), Że można je zignorować podczas testowania, czy reszty pochodzą z rozkładu normalnego. Moje pytanie brzmi: dlaczego?

regression residuals non-independent Zoran Loncarevic
źródło

Czyni je homoscedastycznymi.

Scortchi - Przywróć Monikę

Czy pytasz o możliwość zastosowania tych testów, gdy reszty mają silne korelacje, czy martwisz się (bardzo nieznaczną i nieistotną) korelacją ujemną wynikającą z procedury szacowania metodą najmniejszych kwadratów?

whuber

@ whuber Pytam o korelację wynikającą z procedury szacowania metodą najmniejszych kwadratów. Jeśli są nieznaczne i nieistotne, chciałbym wiedzieć, dlaczego.

Zoran Loncarevic

Odpowiedzi:

W twojej notacji jest rzutem i przestrzenią kolumny , tj. Podprzestrzenią obejmującą wszystkie regresory. Dlatego jest rzutem na wszystko prostopadle do podprzestrzeni rozpiętej przez wszystkie regresory. $H$ $X$ $M:=I_{n}-H$

Jeśli , to jest pojedynczo rozłożony normalnie, a elementy są skorelowane, jak pan mówi. $X\in\mathbb{R}^{n\times k}$ $\hat{e}\in\mathbb{R}^{n}$

Błędy są niedostrzegalna i na ogół nie są prostopadłe do podprzestrzeni rozpiętej przez . Dla celów argumentu załóżmy, że błąd . Gdyby tak było, mielibyśmy z . Ponieważ , możemy rozłożyć i uzyskać true . $\varepsilon$ $X$ $\varepsilon\perp\operatorname{span}\left(X\right)$ $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ $\tilde{y}\perp\varepsilon$ $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$ $y$ $\varepsilon$

Załóżmy, że mamy bazę z , gdzie pierwszy wektor obejmuje podprzestrzeń nazwa i pozostałe span . Ogólnie rzecz biorąc, błąd będzie miał niezerowe komponenty dla . Te niezerowe komponenty zostaną pomieszane z i dlatego nie można ich odzyskać przez projekcję na . $b_{1},\ldots,b_{n}$ $\mathbb{R}^{n}$ $b_{1},\ldots,b_{k}$ $\operatorname{span}\left(X\right)$ $b_{k+1},\ldots,b_{n}$ $\operatorname{span}\left(X\right)^{\perp}$ $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ $\alpha_{i}$ $i\in\left\{1,\ldots,k\right\}$ $X\beta$ $\operatorname{span}\left(X\right)$

Ponieważ nigdy nie możemy mieć nadziei na odzyskanie prawdziwych błędów i są skorelowane w liczbie pojedynczej wymiarowej normalnej, moglibyśmy przekształcić . Tam możemy mieć tj. jest niepodzielną nieskorelowaną i homoscedastyczną rozkładem normalnym. Reszty nazywane są pozostałości BLUS Thiel jest . $\varepsilon$ $\hat{e}$ $n$ $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$

{mi}^{*} \sim {N.}_{n - k} (0, σ^{2)} {ja}_{n - k}),

$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$

e^{*}

$e^{*}$

e^{*}

$e^{*}$

W krótkim artykule o badaniu zaburzeń regresji dla normalności znajduje się porównanie reszt OLS i BLUS. W testowanym ustawieniu Monte Carlo reszty OLS są lepsze niż reszty BLUS. Ale to powinno dać ci punkt wyjścia.

Marco Breitig
źródło