Co to jest lasso w analizie regresji?

Odpowiedzi:

112

LASSO (Najmniejszy bezwzględny operator skurczu i selekcji) to metoda regresji, która polega na karaniu bezwzględnej wielkości współczynników regresji.

Karanie (lub równoważne ograniczanie sumy wartości bezwzględnych oszacowań) prowadzi do sytuacji, w której niektóre oszacowania parametrów mogą być dokładnie zerowe. Im większa nałożona kara, tym dalsze szacunki są zmniejszane do zera.

Jest to wygodne, gdy potrzebujemy automatycznej selekcji cech / zmiennych lub gdy mamy do czynienia z wysoce skorelowanymi predyktorami, w których regresja standardowa zwykle ma współczynniki regresji, które są „zbyt duże”.

https://web.stanford.edu/~hastie/ElemStatLearn/ (bezpłatne pobieranie) ma dobry opis LASSO i powiązanych metod.

dcl
źródło
Jestem nowy na stronie; to jest dokładnie ta informacja, której szukałem; Wielkie dzięki.
Paul Vogt,
Czy jest plik PDF na temat rozwiązania tego problemu za pomocą podwójnego problemu?
Royi,
Link jest zerwany
Oliver Angelil
3

Regresja LASSO jest rodzajem analizy regresji, w której zarówno wybór zmiennych, jak i regulacja zachodzą jednocześnie. W metodzie tej stosuje się karę, która wpływa na ich wartość współczynników regresji. Wraz ze wzrostem kary coraz więcej współczynników staje się zero i odwrotnie. Wykorzystuje technikę normalizacji L1, w której parametr strojenia jest stosowany jako wielkość skurczu. Wraz ze wzrostem parametru dostrajania zwiększa się uprzedzenie, a wraz ze spadkiem zwiększa się wariancja. Jeśli jest stały, wówczas żadne współczynniki nie są równe zeru i podobnie jak w przypadku nieskończoności, wówczas wszystkie współczynniki będą wynosić zero.

Shweta
źródło
2

W regresji „normalnej” (OLS) celem jest zminimalizowanie resztkowej sumy kwadratów (RSS) w celu oszacowania współczynników

argminβRpi=1n(Yij=1pXijβj)2

W przypadku regresji LASSO współczynniki szacuje się przy nieco innym podejściu:

argminβRpi=1n(Yij=1pXijβj)2+λj=1p|βj|

Nowa część jest podświetlona na czerwono, co stanowi sumę wartości współczynników bezwzględnych karanych przez , więc kontroluje ilość regulacji (L1).λλ

Zauważ, że jeśli , to dałoby to te same współczynniki, co współczynnik prostej regresji liniowej. Wzór pokazuje, że w przypadku LASSO nazwa wymaga zarówno regulacji RSS, jak i L1 (nowa czerwona część), aby była minimalna. Jeśli , czerwona kara L1 ogranicza wielkość współczynników, tak że współczynnik może wzrosnąć tylko wtedy, gdy doprowadzi to do takiej samej wielkości spadku RSS. Mówiąc bardziej ogólnie, jedynym sposobem, w jaki współczynniki mogą wzrosnąć, jest to, że doświadczymy porównywalnego zmniejszenia rezydualnej sumy kwadratów (RSS). Zatem im wyżej ustawiszλ=0argminλ=1λim więcej kar zostanie nałożonych na współczynniki, tym mniejsze będą współczynniki, niektóre mogą stać się zerowe. Oznacza to, że LASSO może powodować oszczędne modele, dokonując wyboru funkcji, i zapobiega nadmiernemu dopasowaniu modelu. To powiedziawszy, możesz użyć LASSO, jeśli masz wiele funkcji, a Twoim celem jest raczej przewidywanie danych niż interpretacja współczynników twojego modelu.

otoczak
źródło
1
Dziękuję za odpowiedź (+1). Ta strona obsługuje , czy możesz opublikować formuły w ? Dzięki temu byłyby one czytelne dla użytkowników niedowidzących. Zauważ, że możesz nawet użyć kolorów jak tutaj (kliknij „edytuj”, aby zobaczyć surową odpowiedź) i podparcia jak tutaj, aby tworzyć podobne figury. Dzięki. T.TEXTEX
Tim
@Tim: Dziękuję bardzo za to! To była świetna wskazówka, aby kliknąć edycję, aby zobaczyć, jak to się robi.
głaz