Dlaczego „zrelaksowane lasso” różni się od standardowego lasso?

16

Jeśli zaczniemy od zestawu danych , zastosujemy do niego Lasso i uzyskamy rozwiązanie β L , możemy ponownie zastosować Lasso do zbioru danych ( X S , Y ) , gdzie S jest zbiorem niezerowym indeksy β L , aby uzyskać rozwiązanie β R L , zwane „zrelaksowanym rozwiązaniem LASSO” (poprawcie mnie, jeśli się mylę!). Rozwiązanie β L musi spełniać warunki Karush – Kuhn – Tucker (KKT) dla ( X , Y )(X,Y)βL(XS,Y)SβLβRLβL(X,Y)ale czy biorąc pod uwagę formę warunków KKT dla , nie spełnia również tych warunków ? Jeśli tak, to po co LASSO po raz drugi?(XS,Y)

To pytanie jest następstwem: Zalety robienia „podwójnego lasso” lub dwukrotnego wykonania lasso?

Koka
źródło

Odpowiedzi:

10

Zgodnie z definicją 1 Meinshausen (2007) istnieją dwa parametry kontrolujące rozwiązanie zrelaksowanego Lasso.

λϕϕ=1ϕ<1

Ta formuła faktycznie rozwiązuje dwa problemy:

  1. λ
  2. XSXλϕ
Tonio Bonnef
źródło