Dlaczego zejście w gradiencie proksymalnym zamiast prostych metod podrzędnych dla Lasso?

Myślałem o rozwiązaniu Lasso metodami waniliowymi. Ale czytałem osoby sugerujące użycie Proksymalnego spadku gradientu. Czy ktoś może wyjaśnić, dlaczego dla Lasso można zastosować bliższe GD zamiast waniliowych metod podskładnikowych?

Przybliżone rozwiązanie rzeczywiście można znaleźć dla lasso za pomocą metod podrzędnych. Powiedzmy, że chcemy zminimalizować następującą funkcję utraty:

$$f(w; \lambda) = \| y - Xw \|_2^2 + \lambda \|w\|_1$$

Gradient kary umownej wynosi $-\lambda$ dla $w_i < 0$ i $\lambda$ dla $w_i > 0$ , ale kary nie można odróżnić przy $0$ . Zamiast tego możemy użyć podgradient $\lambda \text{sgn}(w)$ , który jest taki sam, ale ma wartość $0$ dla $w_i = 0$ .

Odpowiednim podrzędnym elementem funkcji straty jest:

$$g(w; \lambda) = -2X^T (y - X w) + \lambda \text{sgn}(w)$$

Możemy zminimalizować funkcję straty, stosując podejście podobne do spadku gradientu, ale używając podskładnika (który jest równy gradientowi wszędzie oprócz , gdzie gradient jest niezdefiniowany). Rozwiązanie może być bardzo zbliżone do prawdziwego rozwiązania lasso, ale może nie zawierać dokładnych zer - tam, gdzie wagi powinny wynosić zero, przyjmują one wyjątkowo małe wartości. Ten brak prawdziwej rzadkości jest jednym z powodów, dla których nie należy stosować podrzędnych metod dla lasso. Dedykowane solwery wykorzystują strukturę problemu do tworzenia naprawdę rzadkich rozwiązań w sposób efektywny obliczeniowo. Ten post$0$mówi, że oprócz tworzenia rzadkich rozwiązań, metody dedykowane (w tym metody gradientu proksymalnego) mają szybsze współczynniki konwergencji niż metody podporządkowane. Podaje kilka referencji.