W jakich dokładnie warunkach regresja kalenicy jest w stanie zapewnić poprawę w stosunku do zwykłej regresji metodą najmniejszych kwadratów?

Regresja grzbietu szacuje parametry w modelu liniowym według gdzie jest parametrem regularyzacji. Dobrze wiadomo, że często działa lepiej niż regresja OLS (z \ lambda = 0 ), gdy istnieje wiele skorelowanych predyktorów.Y = X β β λ = ( X ⊤ X + λ I ) - 1 X ⊤ Y , λ λ = $\boldsymbol \beta$$\mathbf y = \mathbf X \boldsymbol \beta$

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ $\lambda$$\lambda=0$

Twierdzenie o istnieniu regresji grzbietu mówi, że zawsze istnieje parametr $\lambda^* > 0$ taki, że błąd średniej kwadratowej $\hat{\boldsymbol \beta}_\lambda$ jest ściśle mniejszy niż błąd średniej kwadratowej OLS szacowanie $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . Innymi słowy, optymalna wartość $\lambda$ jest zawsze niezerowa. Najprawdopodobniej zostało to udowodnione po raz pierwszy w Hoerl i Kennard, 1970 i zostało powtórzone w wielu notatkach z wykładów, które znajduję w Internecie (np. Tutaj i tutaj ). Moje pytanie dotyczy założeń tego twierdzenia:

1. Czy są jakieś założenia dotyczące macierzy kowariancji $\mathbf X^\top \mathbf X$ ?

2. Czy są jakieś założenia dotyczące wymiarowości $\mathbf X$ ?

W szczególności, czy twierdzenie jest nadal prawdziwe, jeśli predyktory są ortogonalne (tj. $\mathbf X^\top \mathbf X$ jest przekątna), a nawet jeśli $\mathbf X^\top \mathbf X=\mathbf I$ ? I czy nadal jest to prawdą, jeśli istnieje tylko jeden lub dwa predyktory (powiedzmy jeden predyktor i przechwytywanie)?

Jeśli twierdzenie nie przyjmuje takich założeń i pozostaje prawdziwe nawet w tych przypadkach, to dlaczego regresja kalenicy jest zwykle zalecana tylko w przypadku skorelowanych predyktorów i nigdy (?) Nie jest zalecana dla prostej (tzn. Nie wielokrotnej) regresji?

---

Jest to związane z moim pytaniem dotyczącym ujednoliconego poglądu na skurcz: jaka jest relacja (jeśli występuje) między paradoksem Steina, regresją grzbietu i efektami losowymi w modelach mieszanych? , ale do tej pory brak odpowiedzi wyjaśniających ten punkt.

Odpowiedź na zarówno 1, jak i 2 brzmi „nie”, ale należy interpretować twierdzenie o istnieniu.

Wariancja Ridge Estimator

Niech będzie oszacowaniem grzbietu pod karą , i niech będzie prawdziwym parametrem dla modelu . Niech będą wartościami własnymi . Zgodnie z równaniami Hoerla i Kennarda 4.2–4.5 ryzyko (pod względem oczekiwanej normy błędu ) wynosi kβY=Xβ+ϵλ1,…,λpXTXL$\hat{\beta^*}$$k$$\beta$$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

( X T X+k I p ) -2= ( X T X+k I p ) -1 ( X T X+k I p ) -1. γ1 ^ β ∗ -βγ

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ gdzie, o ile wiem, że ma interpretację wariancji wewnętrznego produktu , podczas gdy jest wewnętrznym produktem błędu.$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$$\gamma_2$

Załóżmy, że , a następnie Niech będzie pochodną ryzyka w / r / t . Ponieważ , dochodzimy do wniosku, że istnieje pewne takie, że R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$R'(k)=2k(1+k)βTβ-(pσ2+k2βTβ

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ klimk→0+R′(k)=-2pσ2<0k∗>0R(k∗)<R(0 $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$$R(k^*)<R(0)$ .

Autorzy zauważają, że ortogonalność jest najlepsza, na jaką możesz liczyć pod względem ryzyka przy , oraz że wraz ze wzrostem liczby warunków , podejściaX T X lim k → 0 + R ′ ( k ) - $k=0$$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$ .

Komentarz

Wydaje się, że istnieje tu paradoks, że jeśli i są stałe, to po prostu szacujemy średnią z sekwencji zmiennych Normal i znamy szacunek bezstronny waniliowy jest dopuszczalne w tym przypadku. Rozwiązuje się to, zauważając, że powyższe rozumowanie stanowi jedynie, że dla ustalonego istnieje minimalizująca wartość . Ale dla każdego możemy zwiększyć ryzyko, powodując, że duży, więc sam ten argument nie pokazuje dopuszczalności oszacowania grzbietu.$p=1$$X$$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$$\beta^T \beta$

Dlaczego regresja kalenicy jest zwykle zalecana tylko w przypadku skorelowanych predyktorów?

Wyprowadzenie ryzyka przez H&K pokazuje, że jeśli uważamy, że jest mała, a jeśli konstrukcja jest prawie pojedyncza, to możemy osiągnąć duże zmniejszenie ryzyka oszacowania. Myślę, że regresja kalenicy nie jest powszechnie stosowana, ponieważ oszacowanie OLS jest bezpieczną wartością domyślną, a właściwości niezmienności i bezstronności są atrakcyjne. Kiedy zawiedzie, to zawiedzie szczerze - twoja macierz kowariancji eksploduje. Być może istnieje również punkt filozoficzny / wnioskowy, że jeśli twój projekt jest prawie osobliwy i masz dane obserwacyjne, wówczas podejrzenie interpretacji jako zmiany dla zmian jednostkowych w jest podejrzane - duża macierz kowariancji jest objaw tego. $\beta ^T \beta$$X^T X$$\beta$$E Y$$X$

Ale jeśli twoim celem jest wyłącznie przewidywanie, obawy wnioskowania przestają obowiązywać i masz mocny argument za użyciem pewnego rodzaju estymatora skurczu.