Dlaczego regresja kalenicowa nie zmniejszy niektórych współczynników do zera jak lasso?

Podczas wyjaśniania regresji LASSO często stosuje się schemat rombu i koła. Mówi się, że ponieważ kształt ograniczenia w LASSO jest diamentem, otrzymane rozwiązanie najmniejszych kwadratów może dotykać narożnika diamentu, powodując skurcz jakiejś zmiennej. Jednak w regresji grzbietu, ponieważ jest to okrąg, często nie dotyka osi. Nie mogłem zrozumieć, dlaczego nie może dotknąć osi lub być może ma mniejsze prawdopodobieństwo niż LASSO zmniejszenia niektórych parametrów. Ponadto, dlaczego LASSO i grzbiet mają mniejszą wariancję niż zwykłe najmniejsze kwadraty? Powyżej jest moje rozumienie grzbietu i LASSO i mogę się mylić. Czy ktoś może mi pomóc zrozumieć, dlaczego te dwie metody regresji mają mniejszą wariancję?

Dotyczy to wariancji

OLS zapewnia tzw. Najlepszy liniowy bezstronny estymator (NIEBIESKI) . Oznacza to, że jeśli weźmiesz jakikolwiek inny obiektywny estymator, będzie on miał większą wariancję niż rozwiązanie OLS. Dlaczego więc, u licha, powinniśmy brać pod uwagę cokolwiek innego?

Teraz sztuczką z regularyzacją, taką jak lasso lub grzbiet, jest dodanie z kolei pewnych odchyleń w celu zmniejszenia wariancji. Bo kiedy oszacować błąd predykcji jest to kombinacja trzech rzeczy :

$$\text{E}[(y-\hat{f}(x))^2]=\text{Bias}[\hat{f}(x))]^2 +\text{Var}[\hat{f}(x))]+\sigma^2$$ Ostatnia część to błąd nieredukowalny, więc nie mamy nad tym kontroli. Stosując rozwiązanie OLS, błąd systematyczny wynosi zero. Ale może się zdarzyć, że drugi termin jest duży. Dobrym pomysłem może być ( jeśli chcemy dobre przewidywania ) dodanie pewnych stronniczości i, mam nadzieję, zmniejszenie wariancji.

Więc co to jest ? Jest to wariancja wprowadzona w oszacowaniach parametrów w twoim modelu. Model liniowy ma postać y = X β + ϵ $\text{Var}[\hat{f}(x))]$ W celu uzyskania rozwiązania OLS rozwiązujemy problem minimalizacji arg min β | | y - X β | | 2 To zapewnia rozwiązanie β OLS = ( X , T X ) - 1 X t y problem minimalizacji regresji grzbiet jest podobna: Arg min β | | y - X β |

$$\mathbf{y}=\mathbf{X}\beta + \epsilon,\qquad \epsilon\sim\mathcal{N}(0,\sigma^2I)$$ $$\arg \min_\beta ||\mathbf{y}-\mathbf{X}\beta||^2$$ $$\hat{\beta}_{\text{OLS}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$ teraz roztwór staje β kalenicy = ( X t X + λ I ) - 1 X t y więc dodawania tego X I (zwany grzebień) na przekątnej macierzy że inwertowany. Efekt ten jest w macierzy X t X jest to, że „ciągnie” wyznacznikiem macierzy od zera. Zatem po odwróceniu nie otrzymujesz dużych wartości własnych. Ale to prowadzi do kolejnego interesującego faktu, mianowicie, że wariancja oszacowań parametrów staje się niższa. $$\arg \min_\beta ||\mathbf{y}-\mathbf{X}\beta||^2+\lambda||\beta||^2\qquad \lambda>0$$ $$\hat{\beta}_{\text{Ridge}} = (\mathbf{X}^T\mathbf{X}+\lambda I)^{-1}\mathbf{X}^T\mathbf{y}$$ $\lambda I$$\mathbf{X}^T\mathbf{X}$

Nie jestem pewien, czy mogę udzielić bardziej jednoznacznej odpowiedzi. Wszystko to sprowadza się do macierzy kowariancji dla parametrów w modelu i wielkości wartości w tej macierzy kowariancji.

Jako przykład wziąłem regresję grzbietu, ponieważ jest to o wiele łatwiejsze do wyleczenia. Lasso jest znacznie trudniejsze i wciąż trwają badania nad tym tematem.

Te slajdy zawierają więcej informacji, a ten blog zawiera również pewne istotne informacje.

EDYCJA: Co mam na myśli, że dodając grzbiet wyznacznik jest „ odciągany ” od zera?

$\mathbf{X}^T\mathbf{X}$

$$\text{det}(\mathbf{X}^T\mathbf{X}-tI)=0$$ $t$ $$\text{det}(\mathbf{X}^T\mathbf{X}+\lambda I-tI)=0$$ $$\text{det}(\mathbf{X}^T\mathbf{X}-(t-\lambda)I)=0$$ $(t-\lambda)$$t_i$$t_i+\lambda$$\lambda$

Oto kod R ilustrujący to:

# Create random matrix
A <- matrix(sample(10,9,T),nrow=3,ncol=3)

# Make a symmetric matrix
B <- A+t(A)

# Calculate eigenvalues
eigen(B)

# Calculate eigenvalues of B with ridge
eigen(B+3*diag(3))

Co daje wyniki:

> eigen(B)
$values
[1] 37.368634  6.952718 -8.321352

> eigen(B+3*diag(3))
$values
[1] 40.368634  9.952718 -5.321352

Tak więc wszystkie wartości własne zostają zwiększone o dokładnie 3.

Możesz to ogólnie udowodnić, używając twierdzenia o okręgu Gershgorina . Tam środkami okręgów zawierających wartości własne są elementy ukośne. Zawsze możesz dodać „tyle” do elementu ukośnego, aby wszystkie koła w dodatniej rzeczywistej półpłaszczyźnie. Ten wynik jest bardziej ogólny i nie jest potrzebny do tego.

Regresja Ridge

L2 = (y-xβ) ^ 2 + λ∑βi ^ 2

Rozwiąże to równanie tylko na razie dla jednego β, a później można uogólnić to:

Tak więc, (y-xβ) ^ 2 + λβ ^ 2 to jest nasze równanie dla jednego β.

Naszym celem jest zminimalizowanie powyższego równania, aby móc to zrobić, wyrówna to do zera i przyjmie pochodne wrt β

Y ^ 2- 2xyβ + x ^ 2 β ^ 2 + λβ ^ 2 = 0 ------- Korzystanie z rozszerzenia (ab) ^ 2

Częściowe pochodne wrt

-2xy + 2x ^ 2β + 2βλ = 0

2β (x ^ 2 + λ) = 2xy

β = 2xy / 2 (x ^ 2 + λ)

Wreszcie

β = xy / (x ^ 2 + λ)

Jeśli zaobserwujesz mianownik, nigdy nie będzie on zerowy, ponieważ dodajemy pewną wartość λ (tj. Parametr hiper). Dlatego wartość β będzie tak niska, jak to możliwe, ale nie osiągnie zera.

Regresja LASSO:

L1 = (y-xβ) ^ 2 + λ∑ | β |

Na razie rozwiąże to równanie tylko dla jednego β, a później możesz uogólnić to na więcej β:

Tak więc, (y-xβ) ^ 2 + λβ to jest nasze równanie dla jednego β, tutaj rozważałem + ve wartość β.

Naszym celem jest zminimalizowanie powyższego równania, aby móc to zrobić, wyrówna to do zera i przyjmie pochodne wrt β

Y ^ 2- 2xyβ + x ^ 2 β ^ 2 + λβ = 0 ------- Korzystanie z rozszerzenia (ab) ^ 2

Częściowe pochodne wrt

-2xy + 2x ^ 2β + λ = 0

2x ^ 2β + λ = 2xy

2x ^ 2β = 2xy-λ

Wreszcie

β = (2xy-λ) / (2X ^ 2)

Jeśli zaobserwujesz licznik, wyniesie on zero, ponieważ odejmujemy pewną wartość λ (tj. Parametr hiper). Dlatego wartość β zostanie ustawiona na zero.