Dlaczego regresja Ridge'a działa dobrze w obecności wielokoliniowości?

Uczę się o regresji grzbietu i wiem, że regresja kalenicy działa lepiej w obecności wielokoliniowości. Zastanawiam się, dlaczego to prawda? Odpowiedź intuicyjna lub matematyczna byłaby satysfakcjonująca (oba typy odpowiedzi byłyby jeszcze bardziej satysfakcjonujące).

Wiem też, że zawsze można uzyskać, ale jak dobrze regresja kalenicy działa w obecności dokładnej kolinearności (jedna zmienna niezależna jest funkcją liniową innej)?$\hat{\beta}$

Rozważ prosty przypadek 2 zmiennych predykcyjnych ( , ). Jeśli w obu predyktorach nie ma kolinearności lub jej rozkład jest niewielki, wówczas dopasowujemy płaszczyznę do danych ($x_1$$x_2$$y$to trzeci wymiar) i często istnieje bardzo wyraźna „najlepsza” płaszczyzna. Ale w przypadku kolinearności związek jest tak naprawdę linią przechodzącą przez trójwymiarową przestrzeń z rozrzuconymi wokół niej danymi. Ale procedura regresji próbuje dopasować płaszczyznę do linii, więc istnieje nieskończona liczba płaszczyzn, które idealnie przecinają się z tą linią, która płaszczyzna jest wybrana, zależy od wpływowych punktów w danych, zmień tylko jeden z tych punktów i „najlepsza” płaszczyzna dopasowania dość się zmienia. To, co robi regresja grzbietu, polega na pociągnięciu wybranej płaszczyzny w kierunku prostszych / zdrowszych modeli (wartości odchylenia w kierunku 0). Pomyśl o gumce od początku (0,0,0) do płaszczyzny, która pociąga płaszczyznę w kierunku 0, podczas gdy dane odciągną ją, aby uzyskać miły kompromis.