Rozumiem, że regresja LASSO jest taka, że współczynniki regresji są wybrane w celu rozwiązania problemu minimalizacji:
W praktyce odbywa się to za pomocą mnożnika Lagrange'a, co powoduje problem do rozwiązania
Jaki jest związek między i ? Wikipedia niepoprawnie stwierdza, że jest „zależna od danych”.
Dlaczego mnie to obchodzi? Po pierwsze dla intelektualnej ciekawości. Jestem jednak zaniepokojony konsekwencjami wyboru przez cross-validation.
W szczególności, jeśli przeprowadzam n-krotną walidację krzyżową, dopasowuję n różnych modeli do n różnych partycji moich danych treningowych. Następnie porównuję dokładność każdego z modeli na nieużywanych danych dla danego . Ale to samo implikuje inne ograniczenie ( ) dla różnych podzbiorów danych (tj. jest „zależne od danych”).
Czy naprawdę nie chcę rozwiązać problemu weryfikacji krzyżowej, aby znaleźć wartość która zapewnia najlepszy kompromis w zakresie dokładności odchylenia?
Mogę z grubsza zorientować się w wielkości tego efektu w praktyce, obliczając dla każdego podziału weryfikacji krzyżowej i i patrząc na wynikowy rozkład. W niektórych przypadkach domniemane ograniczenie ( ) może się znacznie różnić cicho w moich podzbiorach weryfikacji krzyżowej. Gdzie przez istotnie mam na myśli współczynnik zmienności . λ t t > > 0
źródło
Odpowiedzi:
To standardowe rozwiązanie regresji kalenicy :
Wiemy również, że , więc to musi być prawda∥β∥=t
co nie jest łatwe do rozwiązania dla .λ
Najlepszym rozwiązaniem jest po prostu robienie tego, co robisz: obliczanie na tej samej podpróbce danych dla wielu wartości .t λ
źródło