Szukam nietechnicznej definicji lasso i do czego służy.
regression
lasso
regularization
shrinkage
Paul Vogt
źródło
źródło
Odpowiedzi:
LASSO (Najmniejszy bezwzględny operator skurczu i selekcji) to metoda regresji, która polega na karaniu bezwzględnej wielkości współczynników regresji.
Karanie (lub równoważne ograniczanie sumy wartości bezwzględnych oszacowań) prowadzi do sytuacji, w której niektóre oszacowania parametrów mogą być dokładnie zerowe. Im większa nałożona kara, tym dalsze szacunki są zmniejszane do zera.
Jest to wygodne, gdy potrzebujemy automatycznej selekcji cech / zmiennych lub gdy mamy do czynienia z wysoce skorelowanymi predyktorami, w których regresja standardowa zwykle ma współczynniki regresji, które są „zbyt duże”.
https://web.stanford.edu/~hastie/ElemStatLearn/ (bezpłatne pobieranie) ma dobry opis LASSO i powiązanych metod.
źródło
Regresja LASSO jest rodzajem analizy regresji, w której zarówno wybór zmiennych, jak i regulacja zachodzą jednocześnie. W metodzie tej stosuje się karę, która wpływa na ich wartość współczynników regresji. Wraz ze wzrostem kary coraz więcej współczynników staje się zero i odwrotnie. Wykorzystuje technikę normalizacji L1, w której parametr strojenia jest stosowany jako wielkość skurczu. Wraz ze wzrostem parametru dostrajania zwiększa się uprzedzenie, a wraz ze spadkiem zwiększa się wariancja. Jeśli jest stały, wówczas żadne współczynniki nie są równe zeru i podobnie jak w przypadku nieskończoności, wówczas wszystkie współczynniki będą wynosić zero.
źródło
W regresji „normalnej” (OLS) celem jest zminimalizowanie resztkowej sumy kwadratów (RSS) w celu oszacowania współczynników
W przypadku regresji LASSO współczynniki szacuje się przy nieco innym podejściu:
Nowa część jest podświetlona na czerwono, co stanowi sumę wartości współczynników bezwzględnych karanych przez , więc kontroluje ilość regulacji (L1).λ λ
Zauważ, że jeśli , to dałoby to te same współczynniki, co współczynnik prostej regresji liniowej. Wzór pokazuje, że w przypadku LASSO nazwa wymaga zarówno regulacji RSS, jak i L1 (nowa czerwona część), aby była minimalna. Jeśli , czerwona kara L1 ogranicza wielkość współczynników, tak że współczynnik może wzrosnąć tylko wtedy, gdy doprowadzi to do takiej samej wielkości spadku RSS. Mówiąc bardziej ogólnie, jedynym sposobem, w jaki współczynniki mogą wzrosnąć, jest to, że doświadczymy porównywalnego zmniejszenia rezydualnej sumy kwadratów (RSS). Zatem im wyżej ustawiszλ=0 argmin λ=1 λ im więcej kar zostanie nałożonych na współczynniki, tym mniejsze będą współczynniki, niektóre mogą stać się zerowe. Oznacza to, że LASSO może powodować oszczędne modele, dokonując wyboru funkcji, i zapobiega nadmiernemu dopasowaniu modelu. To powiedziawszy, możesz użyć LASSO, jeśli masz wiele funkcji, a Twoim celem jest raczej przewidywanie danych niż interpretacja współczynników twojego modelu.
źródło