Czy kolejność zmiennych objaśniających ma znaczenie przy obliczaniu ich współczynników regresji?

Początkowo myślałem, że kolejność nie ma znaczenia, ale potem przeczytałem o procesie ortogonalizacji Gram-Schmidta do obliczania wielu współczynników regresji, a teraz mam inne przemyślenia.

Zgodnie z procesem gram-schmidta, im później zmienna objaśniająca jest indeksowana wśród innych zmiennych, tym mniejszy jest jej wektor resztkowy, ponieważ odejmuje się od niego wektory resztkowe poprzedzających zmiennych. W rezultacie współczynnik regresji zmiennej objaśniającej jest również mniejszy.

Jeśli to prawda, to wektor resztkowy danej zmiennej byłby większy, gdyby został wcześniej zindeksowany, ponieważ odejmowanych byłoby mniej wektorów resztkowych. Oznacza to, że współczynnik regresji byłby również większy.

Ok, więc zostałem poproszony o wyjaśnienie mojego pytania. Więc zamieściłem zrzuty ekranu z tekstu, który wprawił mnie w zakłopotanie. OK, proszę bardzo.

Rozumiem, że istnieją co najmniej dwie opcje obliczania współczynników regresji. Pierwsza opcja jest oznaczona (3.6) na zrzucie ekranu poniżej.

Oto druga opcja (musiałem użyć wielu zrzutów ekranu).

O ile czegoś źle nie odczytam (co jest zdecydowanie możliwe), wydaje się, że kolejność ma znaczenie w drugiej opcji. Czy to ma znaczenie w pierwszej opcji? Dlaczego lub dlaczego nie? A może mój układ odniesienia jest tak zawalony, że nie jest to nawet ważne pytanie? Czy to wszystko ma jakiś związek z sumą kwadratów typu I i sumą kwadratów typu II?

Z góry dziękuję, jestem taki zdezorientowany!

Uważam, że zamieszanie może wynikać z czegoś nieco prostszego, ale daje mi dobrą okazję do przeglądu niektórych powiązanych kwestii.

$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$Β

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

Kolejny schemat ortogonalizacji (forma ortogonalizacji Gram – Schmidta) (prawie) tworzy parę macierzy i takie, że gdzieG X = Z $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$Z n × p G = ( g i j ) p × p Z

$$\m X = \Z \G \>,$$ $\Z$ jest pz kolumnami ortonormalnymi, a jest górny trójkątny. Mówię „prawie”, ponieważ algorytm określa tylko do norm kolumn, które na ogół nie będą jednością, ale można sprawić, by miały normę jednostkową poprzez normalizację kolumn i dokonanie odpowiedniego prostego dostosowania współrzędnych matryca .$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

Zakładając oczywiście, że ma rangę , unikalnym rozwiązaniem najmniejszych kwadratów jest wektor który rozwiązuje układ s ≤ n β X t X β = X T $\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

Zastępstwo Z T Z = I G T G β = G , T Z T $\m X = \Z \G$ i używając (z konstrukcji), otrzymujemy co jest równoważne $\Z^T \Z = \m I$G β = Z , T

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

Teraz skoncentruj się na ostatnim rzędzie układu liniowego. Jedynym niezerowym elementem w ostatnim wierszu jest . Otrzymujemy więc g s s g s P β p = ⟨ y , oo s$\G$$g_{pp}$g p p = ‖ z p ‖ z

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ Nietrudno dostrzec (zweryfikować to jako sprawdzenie zrozumienia!), Żei to daje rozwiązanie. ( Lektor z : użyłem już znormalizowanego, aby mieć normę jednostkową, podczas gdy w książce tego nie mają . To wyjaśnia fakt, że książka ma kwadratową normę w mianowniku, podczas gdy ja mam tylko normę.)$g_{pp} = \|\z_p\|$$\z_i$

Aby znaleźć wszystkie współczynniki regresji, należy wykonać prosty krok do zastąpienia w celu rozwiązania dla indywidualnego . Na przykład dla wiersza(P-1)gp-1,p-1 β s-1+gp-1,str β p=⟨oop-1,Y$\bhat_i$$(p-1)$ , a więc Można kontynuować tę procedurę, pracując „wstecz” od ostatniego wiersza systemu do pierwszego, odejmując ważone sumy współczynników regresji już obliczonych, a następnie dzieląc przez wiodący termin aby uzyskać .Β s - 1 = g - 1 p - 1 , p - 1 ⟨ oo p - 1 , Y

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

Chodzi o to, że w sekcji ESL możemy zmienić kolejność kolumn aby uzyskać nową macierz przy czym ta oryginalna kolumna jest teraz ostatnią. Jeśli następnie zastosujemy procedurę Gram – Schmidta na nowej macierzy, otrzymamy nową ortogonalizację, dzięki czemu rozwiązanie dla pierwotnego współczynnika znajdziemy w prostym powyższym rozwiązaniu. To daje nam interpretację współczynnika regresji . Jest to regresja jednowymiarowa na wektorze resztkowym uzyskana przez „regresję” pozostałych kolumn macierzy projektowej z .$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

Ogólne rozkłady QR

Procedura Gram-Schmidt ale Sposób wytwarzania QR rozkład . Rzeczywiście istnieje wiele powodów, aby preferować inne podejścia algorytmiczne niż procedurę Gram – Schmidta.$\m X$

Odbicia domu i rotacje Givens zapewniają bardziej stabilne numerycznie podejście do tego problemu. Należy zauważyć, że powyższy rozwój nie zmienia się w ogólnym przypadku rozkładu QR. Mianowicie, niech być dowolnego rozkładu QR . Następnie, stosując dokładnie takie same rozumowania i manipulacje algebraiczne, jak powyżej, mamy rozwiązanie najmniejszych kwadratów spełnia co upraszcza Ponieważ jest trójkątem górnym, działa ta sama technika zastępowania. Najpierw rozwiązujemy dla

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$a następnie przejdź do tyłu od dołu do góry. Wybór dla których QR rozkładu algorytm użyć ogólnie zawiasy kontrolowanie niestabilności numerycznej i z tej perspektywy, Gram-Schmidt generalnie nie jest konkurencyjna podejście.

Pojęcie dekompozycji jako macierzy ortogonalnej razy coś innego można również uogólnić nieco dalej, aby uzyskać bardzo ogólną formę dopasowanego wektora , ale obawiam się, że ta odpowiedź stała się już zbyt długa .$\m X$$\hat{\m y}$

książkę i wygląda na to, że ćwiczenie 3.4 może być przydatne w zrozumieniu koncepcji używania GS do znalezienia wszystkich współczynników regresji (nie tylko współczynnika końcowego$\beta_j$$\beta_p$ - więc napisałem rozwiązanie. Mam nadzieję, że to jest przydatny.

Ćwiczenie 3.4 w języku ESL

Pokaż, w jaki sposób można uzyskać wektor współczynników najmniejszych kwadratów z jednego przejścia procedury Grama-Schmidta. Reprezentuj swoje rozwiązanie pod względem rozkładu QR$X$ .

Rozwiązanie

Przypomnijmy, że za pomocą jednego przejścia procedury Grama-Schmidta możemy zapisać naszą macierz jako gdzie zawiera kolumny ortogonalne , a jest macierzą o górnej przekątnej z tymi na przekątnej, a . Jest to odzwierciedleniem faktu, że z definicji$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

Teraz przez$QR$ rozkład , możemy napisać$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ $\hat \beta_{p-1}$$\beta_j$

Dlaczego nie spróbować i porównać? Dopasuj zestaw współczynników regresji, a następnie zmień kolejność i dopasuj je ponownie i sprawdź, czy różnią się (inne niż możliwy błąd zaokrąglenia).

Jak wskazuje @mpiktas, nie jest do końca jasne, co robisz.

$B$$(x'x)B=(x'y)$$(x'x)$

$x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$$x_2$$y$$x_1$$x_1$$x_2$