Zalety robienia „podwójnego lasso” lub dwukrotnego wykonania lasso?

26

Kiedyś słyszałem metodę podwójnego użycia lassa (jak podwójne lasso), w której wykonuje się lasso na oryginalnym zestawie zmiennych, powiedzmy S1, uzyskuje rzadki zbiór o nazwie S2, a następnie ponownie wykonuje lasso na zestawie S2, aby uzyskać zestaw S3 . Czy istnieje na to termin metodologiczny? Jakie są zalety podwójnego robienia lasso?

Bstat
źródło

Odpowiedzi:

23

Tak, procedura, o którą pytasz (lub myślisz) nazywa się zrelaksowanym lasso .

Ogólna idea polega na tym, że podczas wykonywania LASSO po raz pierwszy prawdopodobnie dołączasz „zmienne szumowe”; wykonanie LASSO na drugim zestawie zmiennych (po pierwszym LASSO) daje mniejszą konkurencję między zmiennymi, które są „prawdziwymi konkurentami”, będąc częścią modelu, a nie tylko zmiennymi „szumowymi”. Technicznie celem tej metody jest przezwyciężenie (znanej) powolnej konwergencji LASSO w zestawach danych o dużej liczbie zmiennych.

Możesz przeczytać więcej na ten temat na oryginalnej pracy Meinshausena (2007) .

Polecam także rozdział 3.8.5 na temat elementów uczenia statystycznego (Hastie, Tibshirani i Friedman, 2008) , który zawiera przegląd innych bardzo interesujących metod dokonywania wyboru zmiennych za pomocą LASSO.

Néstor
źródło
Dzięki! Na pewno zajrzę do artykułu Meinshausena.
Bstat
19

Chodzi o to, aby oddzielić dwa efekty lasso

  1. β
  2. β

p>>n

Idea zrelaksowanego lasso polega na tym, że oddzielasz dwa efekty: używasz wysokiej kary przy pierwszym przejściu, aby wybrać zmienne; i mniejszą karę za drugie przejście, aby je zmniejszyć o mniejszą kwotę.

Oryginalny artykuł (połączony przez Néstor) zawiera więcej szczegółów.

Luispedro
źródło