Podczas szacowania metodą najmniejszych kwadratów (przy założeniu normalnej składowej losowej) szacunki parametru regresji są zwykle rozkładane ze średnią równą parametrowi regresji rzeczywistej i macierzy kowariancji gdzie jest wariancją resztkową, a jest matrycą projektową. jest transpozycją a jest zdefiniowane przez równanie modelu z parametrami regresji, a jest terminem błędu. Szacowane odchylenie standardowe parametru beta uzyskuje się, przyjmując odpowiedni termin w s 2 X T X X T X X Y = X β + ϵ β ϵ ( X T X ) - 1Σ = s2)⋅ ( XT.X)- 1s2)XT.XXT.XXY= Xβ+ ϵβϵ( XT.X)−1pomnożenie go przez oszacowanie próbki wariancji rezydualnej, a następnie przyjęcie pierwiastka kwadratowego Nie jest to bardzo proste obliczenie, ale każdy pakiet oprogramowania obliczy go i dostarczy w wyniku.
Przykład
Na stronie 134 Draper and Smith (przywołane w moim komentarzu) podają następujące dane do dopasowania modelu gdzie \ varepsilon \ sim N (0, \ mathbb {I } \ sigma ^ 2) .ε ∼ N ( 0 , I σ 2 )Y=β0+β1X+εε∼N(0,Iσ2)
X Y XY
0 -2 0
2 0 0
2 2 4
5 1 5
5 3 15
9 1 9
9 0 0
9 0 0
9 1 9
10 -1 -10
--- -- ---
Sum 60 5 32
Sum of Squares 482 21 528
Wygląda na przykład, w którym nachylenie powinno być bliskie 0.
Xt=(101212151519191919110).
Więc
XtX=(n∑Xi∑Xi∑X2i)=(106060482)
i
(XtX)−1=⎛⎝⎜⎜∑X2in∑(Xi−X¯)2−X¯∑(Xi−X¯)2−X¯∑(Xi−X¯)21∑(Xi−X¯)2)⎞⎠⎟⎟= (48210 ( 122 )-6122-61221122)= (0.395- 0,049-0.0490,008)
gdzie .X¯= ∑ Xja/ N=60 / 10=6
Oszacowanie dla = (b0) = (Yb-b1 Xb) b1 Sxy / Sxxβ=(XTX)−1XTY
b1 = 1/61 = 0,0163 i b0 = 0,5-0,0163 (6) = 0,402
Od powyżej Sb1 = Se (0,008) i Sb0 = Se (0,395), gdzie Se jest szacowanym odchyleniem standardowym dla składnika błędu. Se = √2,3085.(XTX)−1
Przepraszam, że równania nie zawierały indeksowania dolnego i górnego, kiedy je wycinałem i wklejałem. Tabela również nie odtwarzała się dobrze, ponieważ spacje zostały zignorowane. Pierwszy ciąg 3 liczb odpowiada pierwszym wartościom XY i XY i jest taki sam dla kolejnych trzech ciągów. Po Sumie pojawiają się sumy odpowiednio dla XY i XY, a następnie suma kwadratów odpowiednio dla XY i XY. Macierze 2x2 też się popsuły. Wartości po nawiasach powinny znajdować się w nawiasach pod liczbami po lewej stronie.