Obliczanie błędów standardowych dla problemów z regresją liniową bez obliczania odwrotności

Czy istnieje szybszy sposób obliczenia błędów standardowych dla problemów z regresją liniową niż odwrócenie ? Tutaj zakładam, że mamy regresję: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

gdzie jest macierzą , jest wektorem . $X$ $n\times k$ $y$ $n\times 1$

Dla znalezienia najmniejszych kwadratów rozwiązania problemu jest niepraktyczne nic zrobić z , można użyć QR lub dekompozycji SVD na macierzy bezpośrednio. Lub alternatywnie możesz użyć metod gradientu. Ale co ze standardowymi błędami? Naprawdę potrzebujemy tylko przekątnej (i oczywiście rozwiązania LS, aby obliczyć szacunkowy błąd standardowy ). Czy istnieją jakieś specjalne metody obliczania standardowych błędów? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization mpiktas
źródło

Odpowiedzi:

Załóżmy, że rozwiązałeś problem najmniejszych kwadratów za pomocą rozkładu wartości osobliwych (SVD) , podanego przez $X$

X = U Σ V^{'},

$X = U\Sigma V',$

gdzie i są jednostkowe, a jest przekątna. $U$ $V$ $\Sigma$

Następnie

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Zobacz odpowiedź, której udzieliłem na powiązane pytanie dotyczące Math.SE. )

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

Geoff Oxberry
źródło

+1, zapomniałem o tej miłej nieruchomości SVD. Jeśli nie pojawią się żadne inne odpowiedzi, zaakceptuję tę odpowiedź, ponieważ jest ona bardzo zbliżona do tej, którą chciałem uzyskać (i na pewno jest o wiele lepsza niż oczekiwałem :))

mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Zignoruj ostatni komentarz, tam jest błąd. Mam jednak prawidłową formułę.

mpiktas