GLMNET czy LARS do obliczania rozwiązań LASSO?

13

Chciałbym uzyskać współczynniki dla problemu LASSO

| | Y - X β | | + λ | | β | |_{1} .

$||Y-X\beta||+\lambda ||\beta||_1.$

Problem polega na tym, że funkcje glmnet i lars dają różne odpowiedzi. Dla funkcji glmnet proszę o współczynniki $\lambda/||Y||$ zamiast po prostu $\lambda$ , ale wciąż otrzymuję różne odpowiedzi.

Czy jest to oczekiwane? Jaki jest związek między lars $\lambda$ a glmnet $\lambda$ ? Rozumiem, że glmnet jest szybszy w przypadku problemów z LASSO, ale chciałbym wiedzieć, która metoda jest bardziej wydajna?

deps_stats Obawiam się, że rozmiar mojego zestawu danych jest tak duży, że LARS nie może go obsłużyć, podczas gdy z drugiej strony glmnet może obsłużyć mój duży zestaw danych.

mpiktas Chcę znaleźć rozwiązanie (Y-Xb) ^ 2 + L \ sum | b_j | ale kiedy pytam z dwóch algorytmów (lars i glmnet) o ich obliczone współczynniki dla tego konkretnego L, otrzymuję różne odpowiedzi ... i zastanawiam się, czy to jest poprawne / oczekiwane? lub po prostu używam złej lambda dla dwóch funkcji.

r machine-learning regression lasso regularization Glen_b - Przywróć Monikę
źródło

1

podaj przykład ilustrujący twój problem. W jaki sposób definiujesz moc algorytmu?

mpiktas,

1

Użyłem pakietów glmnet i lars w kilku projektach. Z mojego ograniczonego doświadczenia miałem wiele problemów z implementacją glmnet. Myślę, że glmnet potrzebuje poprawek błędów dotyczących typu zmiennych używanych w ramce danych. Poza tym glmnet ma mylącą dokumentację. Skończyło się na użyciu larsa i byłem bardzo zadowolony z rezultatów. Nieważne, jak duży jest twój problem, myślę, że lars sobie z tym poradzi.

deps_stats

„Problem polega na tym, że funkcje glmnet i lars dają różne odpowiedzi”. mam ten sam problem. Jakieś odpowiedzi?

przyznają

Drastycznie różne odpowiedzi dla współczynników? I po przeczytaniu oryginalnego postu naprawdę nie powinieneś prosić o jedno rozwiązanie lambda z glmnetimplementacji LARS i prawdopodobnie nie. Zapewniają całą gamę rozwiązań wzdłuż spektrum odchylenia względem wariancji. Co utrudnia porównanie faktycznych współczynników. Ale nadal te same zmienne powinny prawdopodobnie stać się niezerowe w podobnej kolejności.

Shea Parkes,

14

Z mojego doświadczenia wynika, że LARS jest szybszy w przypadku drobnych problemów, bardzo rzadkich problemów lub bardzo „szerokich” problemów (znacznie więcej funkcji niż próbek). Rzeczywiście, jego koszt obliczeniowy jest ograniczony liczbą wybranych funkcji, jeśli nie obliczysz pełnej ścieżki regularyzacji. Z drugiej strony, w przypadku dużych problemów, glmnet (optymalizacja opadania współrzędnych) jest szybszy. Między innymi opadanie współrzędnych ma dobry wzorzec dostępu do danych (przyjazny dla pamięci) i może korzystać z nadmiarowości danych w bardzo dużych zestawach danych, ponieważ jest zbieżny z częściowymi dopasowaniami. W szczególności nie cierpi z powodu silnie skorelowanych zestawów danych.

Wniosek, że my (główni programiści scikit-learn ) również doszliśmy, jest taki, że jeśli nie masz silnej wiedzy a priori na temat swoich danych, powinieneś raczej używać glmnet (lub koordynować optymalizację opadania, aby mówić o algorytmie, a raczej niż wdrożenie).

Ciekawe punkty odniesienia można porównać w pracy dyplomowej Juliena Mairala:

http://www.di.ens.fr/~mairal/resources/pdf/phd_thesis.pdf

Sekcja 1.4, w szczególności 1.4.5 (strona 22)

Julien dochodzi do nieco odmiennych wniosków, chociaż jego analiza problemu jest podobna. Podejrzewam, że dzieje się tak, ponieważ był bardzo zainteresowany bardzo szerokimi problemami.

Gael Varoquaux
źródło

Większość twoich odpowiedzi jest na CW (tutaj, ale także na metaoptimize.com/qa) ... Czy jest jakiś powód?

chl

1

Ponieważ uważam, że dobrze jest, jeśli ludzie mogą naprawić literówki, nieprawidłowe sformułowania ... Podoba mi się pomysł ciągłego ulepszania odpowiedzi. Czy to wbrew najlepszej praktyce?

Gael Varoquaux,

2

Poprawiłem dwa lub trzy literówki. Nie ma nic wspólnego z CW per se, chyba że myślisz o niższej liczbie powtórzeń wymaganej do edycji twojego postu! Użytkownicy mogą jednak sugerować wszelkie zmiany; ale udzielenie odpowiedzi CW nie pozwoli na uzyskanie od nich reputacji. Myślę, że nie jesteś po przedstawicielu, ale ponieważ twoje odpowiedzi były zawsze trafne, po prostu zastanawiałem się ... Pozdrawiam.

chl

1

LASSO nie jest wyjątkowy w przypadku, gdy wiele funkcji ma idealną kolinearność. Oto prosty eksperyment myślowy, aby to udowodnić.

Załóżmy, że masz trzy losowe wektory , , . Próbujesz przewidzieć podstawie , . Załóżmy teraz, że = = . Optymalnym rozwiązaniem LASSO byłoby , , gdzie jest skutkiem kary LASSO. Jednak optymalna będzie również , . $y$ $x_1$ $x_2$ $y$ $x_1$ $x_2$ $y$ $x1$ $x2$ $\beta_1 = 1 - P$ $\beta_2 = 0$ $P$ $\beta_1 = 0$ $\beta_2 - 1 - P$

dsimcha
źródło

2

@dsmcha, przykro mi to mówić, ale nie wydaje mi się, że ten przykład bardzo mi się podoba. Odpowiedź jest identyczna z dwoma predyktorami? Moim zdaniem jest to poza patologią.

kardynał

1

Lars i Glmnet podają różne rozwiązania problemu Lasso, ponieważ używają nieco innych funkcji celu i różnych standaryzacji danych. Szczegółowy kod do reprodukcji można znaleźć w powiązanym pytaniu Dlaczego Lars i Glmnet oferują różne rozwiązania problemu Lasso?

Andre
źródło

GLMNET czy LARS do obliczania rozwiązań LASSO?

Odpowiedzi: