Macierz wariancji-kowariancji błędów w regresji liniowej

12

Jak w praktyce obliczana jest macierz błędów var / cov za pomocą pakietów analizy statystycznej?

Ten pomysł jest dla mnie jasny w teorii. Ale nie w praktyce. Mam na myśli, że jeśli mam wektor zmiennych losowych , rozumiem, że macierz wariancji / kowariancji Σ otrzyma zewnętrzny iloczyn odchylenia od-od- średnie wektory: Σ = E [ ( X - E ( X ) ) ( X - E ( X ) ) ] .X=(X1,X2,,Xn)ΣΣ=E[(XE(X))(XE(X))]

Ale kiedy mam próbkę, błędy moich obserwacji nie są zmiennymi losowymi. Albo lepiej, są, ale tylko jeśli pobiorę pewną liczbę identycznych próbek z tej samej populacji. W przeciwnym razie są podane. Ponownie moje pytanie brzmi: w jaki sposób pakiet statystyczny może wytworzyć macierz var / cov, zaczynając od listy obserwacji (tj. Próbki) dostarczonej przez badacza?

Riccardo
źródło
Błędy twoich obserwacji są funkcją zmiennych losowych (y) i dlatego same są losowe. Pod warunkiem, że sam X nie są podane.
user603
1
Tak, w pełni się z tym zgadzam. Ale to, co mówisz, działa w teorii. Jeśli narysuję, powiedzmy, 100 losowych próbek o tej samej wielkości z tej samej populacji, każdy błąd obserwacji będzie zmienną losową o (0, sigma ^ 2). Co jeśli zamiast tego narysuję tylko jedną próbkę? W takim przypadku średnią błędu każdej obserwacji jest sam błąd. Czy to jasne, co mówię? Więc próbuję zrozumieć, w jaki sposób pakiet taki jak Stata oblicza macierz wariancji-kowariancji przy użyciu tylko jednej próbki pobranej z populacji?
Riccardo

Odpowiedzi:

7

Macierz kowariancji dla modelu typu jest zwykle obliczana jako ( X t X ) - 1 σ 2y=Xβ+ϵ gdzieσ2resztowa suma kwadratówσ2=Σi(yI-Xi β )2orazdjest stopni swobody (zazwyczaj liczba obserwacji minus liczba parametrów).

(XtX)1σ2d
σ2σ2=i(yiXiβ^)2d

W przypadku solidnych i / lub klastrowanych błędów standardowych, produkt jest nieznacznie zmodyfikowany. Mogą istnieć również inne sposoby obliczania macierzy kowariancji, np. Sugerowane przez oczekiwanie na produkty zewnętrzne.XtX

Simen Gaure
źródło
3
  1. Oszacowanie wariancji błędu przez OLS , :σ2

s2=ε^ε^np

Jest to uwzględnione w Regresji praktycznej i Anovie przy użyciu R. Juliana J. Faraway'a, strona 21 .

Przykład obliczeń w badania, w oparciu o model liniowy mil na galon regresji na wielu modelach samochodów specyfikacji zawartych w mtcarsbazie danych: ols = lm(mpg ~ disp + drat + wt, mtcars). Są to obliczenia ręczne i dane wyjściowe lm()funkcji:

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom
  1. β^

Var[β^X]=σ2(XX)1

oszacowano jak na stronie 8 tego dokumentu online jako

Var^[β^X]=s2(XX)1
> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
Antoni Parellada
źródło
2

Y=βX+εYXβXY

Rajiv Sambasivan
źródło
Cześć Rajiv, dziękuję za korektę. Czy możesz wyjaśnić, w jaki sposób Stata (lub jakikolwiek inny pakiet statystyk), zaczynając od Y (i epsilon), potrafi uzyskać macierz wariancji-kowariancji Sigma?
Riccardo
e^e^
Zgadzam się z użytkownikiem 603. Sprawdź stronę 21 cran.r-project.org/doc/contrib/Faraway-PRA.pdf . Jest to oparte na R, ale obejmuje dobre omówienie teorii regresji liniowej.
Rajiv Sambasivan
Cześć, dziękuję przede wszystkim. Zgadzam się również z tobą, użytkownik 603, i oczekiwałem tej odpowiedzi. Ale jeśli macierz var / cov jest obliczana przez obliczenie iloczynu zewnętrznego wektorów błędów, oznacza to, że cov wśród składników błędu w większości przypadków nie będzie zero, jak sugerowałaby hipoteza niezależności. Dobrze? Właśnie wokół tego krąży moja wątpliwość. Rajiv, zajrzałem do dobrego przewodnika, który zasugerowałeś, ale nie mogłem znaleźć odpowiedzi. Z góry dziękuję za wszelkie przyszłe odpowiedzi.
Riccardo