Dlaczego RSS jest dystrybuowany chi razy razy np?

28

Chciałbym zrozumieć, dlaczego w modelu OLS rozkłada się RSS (resztkową sumę kwadratów)

χ2(np)
( p oznacza liczbę parametrów w modelu, n liczbę obserwacji).

Przepraszam, że zadałem tak podstawowe pytanie, ale wydaje się, że nie jestem w stanie znaleźć odpowiedzi online (lub w moich, bardziej zorientowanych na aplikację podręcznikach).

Tal Galili
źródło
3
Zauważ, że odpowiedzi pokazują, że twierdzenie nie jest całkiem poprawne: rozkład RSS wynosi σ2 (nie np ) razy rozkład χ2(np) gdzie σ2 jest prawdziwą wariancją błędów.
whuber

Odpowiedzi:

36

Rozważam następujący model liniowy: y=Xβ+ϵ .

Wektor reszt szacowany jest przez

ϵ^=yXβ^=(IX(XX)1X)y=Qy=Q(Xβ+ϵ)=Qϵ

gdzie Q=IX(XX)1X .

Zauważ, że (ślad jest niezmienny przy cyklicznej permutacji) i że Q = Q = Q 2 . Wartości własne Q wynoszą zatem 0 i 1 (niektóre szczegóły poniżej). Zatem istnieje macierz jednostkowa V taka, że ​​( macierze można diagonalizować za pomocą macierzy jednolitych wtedy i tylko wtedy, gdy są one normalne ).tr(Q)=npQ=Q=Q2Q01V

VQV=Δ=diag(1,,1np times,0,,0p times)

Teraz niech ε .K=Vϵ^

Od ε ~ N ( 0 , Ď 2 Q ) mamy K ~ N ( 0 , Ď 2 Δ ) , a zatem K n - s + 1 = ... = K n = 0 . A zatemϵ^N(0,σ2Q)KN(0,σ2Δ)Knp+1==Kn=0

K2σ2=K2σ2χnp2

z .K=(K1,,Knp)

Ponadto, ponieważ jest macierzą jednolitą, my również mamyV

ϵ^2=K2=K2

A zatem

RSSσ2χnp2

Na koniec zauważ, że wynik ten implikuje

E(RSSnp)=σ2

Ponieważ The minimal wielomianu o dzieli wielomian . Zatem wartości własne mieszczą się w zakresie od do . Ponieważ jest również sumą wartości własnych pomnożonych przez ich wielokrotność, musimy koniecznie mieć, że jest wartością własną o wielokrotności a zero jest wartością własną o wielokrotności .Q2Q=0Qz2zQ01tr(Q)=np1npp

ocram
źródło
1
(+1) Dobra odpowiedź. Można ograniczyć uwagę do ortogonalnej, zamiast jednolitej ponieważ jest rzeczywiste i symetryczne. Co to jest ? Nie widzę tego zdefiniowanego. Lekko zmieniając argument, można również uniknąć użycia zdegenerowanej normy, w przypadku, gdy wywołuje to konsternację dla tych, którzy się jej nie znają. VQSCR
kardynał
2
@Kardynał. Słuszna uwaga. SCR (po francusku „Somme des Carrés Résiduels”) powinien mieć format RSS.
ocram
Dziękujemy za szczegółową odpowiedź Ocram! Niektóre kroki będą wymagały ode mnie więcej spojrzenia, ale mam teraz zarys do przemyślenia - dzięki!
Tal Galili,
@Glen_b: Och, kilka dni temu dokonałem edycji, aby zmienić SCR na SRR. Nie pamiętam, że SCR jest wspomniany w moim komentarzu. Przepraszam za zamieszanie.
ocram
@Glen_b: To miało znaczyć RSS: -S Zredagowane ponownie. Thx
ocram
9

IMHO, notacja matematyczna komplikuje sprawy. Czysty język wektorów jest czystszy. Model można zapisać gdzie ma standardowy rozkład normalny w a zakłada się, że należy do podprzestrzeni wektorowej .Y=Xβ+ϵY=μ+σGGRnμWRn

Teraz w grę wchodzi język geometrii elementarnej. Najmniejszych kwadratów estymatora z jest tylko : rzut prostopadły obserwowalny na powierzchni , do którego zakłada się, że miejsce. Wektor reszt jest : rzut na ortogonalnego dopełnienia o w . Wymiar wynosi .μ^μPWYYWμPWYWWRnWdim(W)=ndim(W)

Wreszcie, a ma standardowy rozkład normalny na , stąd jego kwadratowa norma ma dystrybucyjnym stopni swobody.

PWY=PW(μ+σG)=0+σPWG,
PWGWχ2dim(W)

Ta demonstracja używa tylko jednego twierdzenia, a właściwie definicji-twierdzenia:

Definicja i twierdzenie . Losowy wektor w ma standardowy rozkład normalny w przestrzeni wektorowej jeśli przyjmuje swoje wartości w i jego współrzędne w jednej ( we wszystkich) podstawie ortonormalnej o są niezależnymi jednowymiarowej standardowe rozkładu normalnegoRnURnUU

(z tego twierdzenia dotyczącego definicji twierdzenie Cochrana jest tak oczywiste, że nie warto go podawać)

Stéphane Laurent
źródło