tło
Załóżmy, że mamy model zwykłych najmniejszych kwadratów, w którym mamy współczynniki w naszym modelu regresji,
gdzie to wektor współczynników , to macierz projektowa zdefiniowana przez
Minimalizujemy błędy sumy do kwadratu, ustawiając nasze szacunki dla na beta = ( X , T X ) - 1 X t y
Bezstronnym estymatorem jest
Kowariancja jest podana przez
Pytanie
Jak mogę udowodnić, że dla ,
Moje próby
Wiem, że dla losowych zmiennych próbkowanych z możesz pokazać, że przepisując LHS jako i zdając sobie sprawę, że licznik jest standardowym rozkładem normalnym, a mianownik jest pierwiastkiem kwadratowym rozkładu Chi-kwadrat o df = (n-1) i podzielonym przez (n- 1) ( ref ). I dlatego następuje rozkład t z df = (n-1) ( ref ).x ∼ N ( μ , σ 2 ) ˉ x - μ( ˉ x -μ
Nie mogłem rozszerzyć tego dowodu na moje pytanie ...
Jakieś pomysły? Zdaję sobie sprawę z tego pytania , ale nie dowodzą tego wprost, po prostu dają ogólną zasadę, mówiąc: „każdy predyktor kosztuje cię do pewnego stopnia swobody”.
Odpowiedzi:
Ponieważ wiemy, że , a więc wiadomo, że dla każdego składnika o , gdzie to element przekątnej w . Wiemy zatem, że β -β~N(0,σ2(X, TX)-1)k β β k-βk~N(0,σ2SKk)Skkkth(XTX
Zwróć uwagę na twierdzenie Twierdzenia o rozkładzie idempotentnej postaci kwadratowej w standardowym wektorze normalnym (Twierdzenie B.8 w Greene):
Niech oznacza resztkowy wektor regresji i niech który jest macierzą rezydującego twórcy (tj. ) . Łatwo jest sprawdzić, czy jest symetryczny i idempotentny . M=min-X(X, TX)-1Xt,Mr= ε Mε^
Niech będzie estymatorem . σ2
Następnie musimy wykonać algebrę liniową. Zwróć uwagę na te trzy właściwości algebry liniowej:
Więc
Następnie
Stosując twierdzenie o rozkładzie idempotentnej postaci kwadratowej w standardowym wektorze normalnym (podanym powyżej), wiemy, że .V∼χ2n−p
Ponieważ założyłeś, że jest zwykle dystrybuowany, to jest niezależny od , a ponieważ jest funkcją , to jest również niezależne od . Zatem iε β^ ε^ s2 ε^ s2 β^ zk V są od siebie niezależne.
Następnie można go manipulować algebraicznie w bardziej znaną formę.
źródło
Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector