Wykorzystanie dekompozycji wartości pojedynczej do obliczenia macierzy kowariancji wariancji z modelu regresji liniowej

Mam macierz projektową regresorów p, n obserwacji i próbuję obliczyć przykładową macierz wariancji-kowariancji parametrów. Próbuję bezpośrednio obliczyć to za pomocą svd.

Używam R, gdy biorę svd macierzy projektowej, otrzymuję trzy składniki: macierz która jest , macierz która jest (przypuszczalnie wartości własne), i macierz która jest . Przekątnąłem , dzięki czemu jest to macierz z zerami w pozagątnych.$U$$n \times p$$D$$1\times 3$$V$$3\times 3$$D$$3\times 3$

Podobno formuła kowariancji jest następująca: , jednak macierz nie pasuje, ani nie jest nawet zbliżona do wbudowanej funkcji R . , . Czy ktoś ma jakieś porady / referencje? Przyznaję, że jestem trochę niewykwalifikowany w tej dziedzinie.$V D^2 V'$vcov

Po pierwsze, przypomnijmy, że przy założeniach wielowymiarowej normalności modelu regresji liniowej mamy

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

Teraz, jeśli , gdzie po prawej stronie jest SVD X, wówczas otrzymujemy, że . Stąd $X = U D V^T$$X^T X = V D U^T U D V = V D^2 V^T$

$$(X^T X)^{-1} = V D^{-2} V^T .$$

Nadal brakuje oszacowania wariancji, czyli

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

Choć nie zostały sprawdzone, mam nadzieję vcov Zwraca .$\hat{\sigma}^2 V D^{-2} V^T$

Uwaga: Napisałeś , czyli , ale potrzebujemy odwrotności dla macierzy wariancji-kowariancji. Zauważ również, że w , aby wykonać to obliczenie, musisz zrobić$V D^2 V^T$$X^T X$$R$

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

zauważając, że do mnożenia macierzy używamy %*%zamiast po prostu *. var.estpowyżej jest oszacowanie wariancji hałasu.

(Przyjąłem również założenie, że ma pełną rangę, a . Jeśli tak nie jest, będziesz musiał wprowadzić drobne modyfikacje do powyższego.)$X$$n \geq p$