Współczynniki regresji grzbietu, które są większe niż współczynniki OLS lub które zmieniają znak w zależności od

14

Kiedy wykonujesz regresję grzbietu, jak interpretujesz współczynniki, które kończą się powyżej odpowiadających im współczynników pod co najmniej kwadratami (dla niektórych wartości )? Czy regresja kalenicy nie ma monotonicznie zmniejszać współczynników?λ

W powiązanej uwadze, w jaki sposób interpretuje się współczynnik, którego znak zmienia się podczas regresji kalenicy (tj. Ślad kalenicy przecina się z ujemnego na dodatni na wykresie kalenicy)?

użytkownik21833
źródło
Regresja grzbietu tylko monotonicznie zmniejsza współczynniki w przypadku ortogonalnej macierzy projektowej. Wobec korelacji nie można powiedzieć nic o tej ogólności.
Matthew Drury,

Odpowiedzi:

5

Tak jak λzwiększa od zera udział różnych zmian współczynników w celu dostosowania do optymalizacji, umożliwiając zarówno wzrost wartości, jak i zmianę znaku. Spójrz na wykresy regresji grzbietu Ryana Tibshiraniego (PDF) ilustrujące oba pytania (wykresy 17, 19).

mrbcuda
źródło