Jak znaleźć współczynniki regresji w regresji kalenicowej?

W regresji grzbietu funkcją celu, którą należy zminimalizować, jest:

$$\text{RSS}+\lambda \sum\beta_j^2.$$

Czy można to zoptymalizować za pomocą metody mnożnika Lagrange'a? Czy jest to proste różnicowanie?

Istnieją dwa sformułowania dotyczące problemu kalenicy. Pierwszy to

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$$

z zastrzeżeniem

$$\sum_{j} \beta_j^2 \leq s.$$

Ta formuła pokazuje ograniczenie wielkości współczynników regresji. Zwróć uwagę na to, co oznacza to ograniczenie; zmuszamy współczynniki do położenia się w kulce wokół początku o promieniu .$\sqrt{s}$

Drugi przepis to dokładnie twój problem

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$$

który może być postrzegany jako formuła mnożnika Largrange. Zauważ, że tutaj jest parametrem tuningowym, a jego większe wartości doprowadzą do większego skurczu. Możesz przystąpić do różnicowania wyrażenia w odniesieniu do i uzyskać dobrze znany estymator grzbietu$\lambda$$\boldsymbol{\beta}$

$$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$$

Te dwie formuły są całkowicie równoważne , ponieważ istnieje zgodność jeden do jednego między i .$s$$\lambda$

Pozwól mi trochę rozwinąć. Wyobraź sobie, że jesteś w idealnym ortogonalnym przypadku, . Jest to bardzo uproszczona i nierealistyczna sytuacja, ale możemy dokładniej zbadać estymator, więc proszę o wyrozumiałość. Zastanów się, co dzieje się z równaniem (1). Estymator grzbietu zmniejsza się do$\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

$$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$$

podobnie jak w przypadku ortogonalnym estymator OLS podaje . Patrząc na ten składnik teraz otrzymujemy$\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

$$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$$

Zauważ, że teraz skurcz jest stały dla wszystkich współczynników. Może to nie mieć miejsca w ogólnym przypadku i rzeczywiście można wykazać, że skurcze będą się znacznie różnić, jeśli w macierzy występują różnice .$\mathbf{X}^{\prime} \mathbf{X}$

Wróćmy jednak do ograniczonego problemu optymalizacji. Przez teorię KKT , o konieczności warunek optymalności jest

$$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$$

więc albo lub (w tym przypadku mówimy, że ograniczenie jest wiążące). Jeśli nie ma kary i wróciliśmy do normalnej sytuacji OLS. Załóżmy zatem, że ograniczenie jest wiążące i znajdujemy się w drugiej sytuacji. Korzystając ze wzoru w (2), mamy$\lambda = 0$$\sum \beta_{R,j} ^2 -s = 0$$\lambda = 0$

$$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$$

skąd otrzymujemy

$$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$$

poprzednio twierdzono, że istnieje relacja jeden do jednego. Oczekuję, że trudniej to ustalić w przypadku nieortogonalnym, ale wynik nie zmienia się.

Spójrz jeszcze raz na (2), a zobaczysz, że wciąż brakuje nam . Aby uzyskać jego optymalną wartość, możesz albo użyć weryfikacji krzyżowej, albo spojrzeć na ślad grzbietu. Druga metoda polega na zbudowaniu sekwencji w (0,1) i sprawdzeniu, jak zmieniają się szacunki. Następnie wybierz która je stabilizuje. Ta metoda została przy okazji zasugerowana w drugim z poniższych odnośników i jest najstarsza.$\lambda$$\lambda$$\lambda$

Bibliografia

Hoerl, Arthur E. i Robert W. Kennard. „Regresja Ridge'a: błędne oszacowanie problemów nieortogonalnych”. Technometrics 12.1 (1970): 55-67.

Hoerl, Arthur E. i Robert W. Kennard. „Regresja Ridge'a: zastosowania do nieortogonalnych problemów”. Technometrics 12.1 (1970): 69-82.

Moja książka Regression Modeling Strategies zagłębia się w wykorzystanie skutecznego AIC do wyboru . Wynika to z prawdopodobieństwa zaryzykowanego dziennika i efektywnego stopnia swobody, przy czym ten ostatni jest funkcją tego, o ile wariancje są zmniejszone przez karanie. Prezentacja na ten temat jest tutaj . Pakiet R znajduje która optymalizuje efektywny AIC, a także dopuszcza wiele parametrów kary (np. Jeden dla głównych efektów liniowych, jeden dla głównych efektów nieliniowych, jeden dla efektów interakcji liniowych i jeden dla efektów interakcji nieliniowych).$\lambda$$\hat{\beta}$rmspentrace$\lambda$

Nie robię tego analitycznie, ale raczej numerycznie. Zazwyczaj rysuję RMSE vs. λ jako takie:

Rysunek 1. RMSE i stała λ lub alfa.