Interpretacja współczynników regresji LASSO

12

Obecnie pracuję nad budowaniem modelu predykcyjnego dla wyniku binarnego na zbiorze danych z ~ 300 zmiennymi i 800 obserwacjami. Dużo przeczytałem na tej stronie o problemach związanych z regresją krokową i dlaczego jej nie używać.

Czytałem o regresji LASSO i jej możliwościach wyboru funkcji i udało mi się ją wdrożyć za pomocą pakietu „caret” i „glmnet”.

Jestem w stanie wyodrębnić współczynnik modelu z optymalnym lambdaiz alpha„daszka”; nie znam jednak sposobu interpretacji współczynników.

  • Czy współczynniki LASSO są interpretowane tą samą metodą co regresja logistyczna?
  • Czy właściwe byłoby użycie funkcji wybranych z LASSO w regresji logistycznej?

EDYTOWAĆ

Interpretacja współczynników, jak w przypadku współczynników potęgowanych z regresji LASSO, jako logarytmicznych szans na zmianę jednostki o 1 jednostkę przy jednoczesnym utrzymaniu wszystkich pozostałych współczynników na stałym poziomie.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

multiple-regression predictive-models interpretation regression-coefficients lasso Michael Luu
źródło
Czy możesz uzupełnić trochę to, co rozumiesz przez „interpretowane w taki sam sposób jak regresja logistyczna”? Byłbym bardzo przydatny, aby dokładnie wiedzieć, jakie interpretacje chcesz uogólnić.
Matthew Drury
1
@Mathew Drury - Dziękuję bardzo za poświęcenie czasu na pomoc, ponieważ moje zajęcia nigdy nie przekroczyły LASSO. Ogólnie rzecz biorąc, z tego, czego nauczono mnie na studiach magisterskich, wykładnicze współczynniki z regresji logistycznej dają logarytmiczne szanse wzrostu jednostkowego współczynnika o 1 jednostkę przy zachowaniu wszystkich pozostałych współczynników na stałym poziomie.
Michael Luu,
1
W „Caret” wybierasz i . Skąd pochodzi ? Czy to prawdopodobnie hiperparametr elastycznej siatki (względna waga LASSO w porównaniu z karą kalenicową) (w którym to przypadku faktycznie użyłbyś elastycznej siatki zamiast LASSO)? αλα
Richard Hardy
O ile mi wiadomo, testowanie istotności współczynników nie zostało wprowadzone w większości implementacji LASSO. Czy zatem różnica nie może polegać na tym, że chociaż możemy określić statystycznie istotne zmienne w OLS, nie możemy tego zrobić za pomocą LASSO, z wyjątkiem złożenia słabszego stwierdzenia, że ​​wybrane współczynniki LASSO odpowiednich zmiennych są „ważnymi” zmiennymi do rozważenia?
godspeed

Odpowiedzi:

13

Czy współczynniki LASSO są interpretowane tą samą metodą co regresja logistyczna?

Pozwólcie, że sformułuję : Czy współczynniki LASSO są interpretowane w taki sam sposób, jak na przykład współczynniki maksymalnego prawdopodobieństwa OLS w regresji logistycznej?

LASSO (metoda szacowania karanego) ma na celu oszacowanie tych samych wielkości (współczynników modelu), co powiedzmy, maksymalne prawdopodobieństwo OLS (metoda niezenalizowana). Model jest taki sam, a interpretacja pozostaje taka sama. Wartości liczbowe z LASSO będą zwykle różnić się od wartości z maksymalnego prawdopodobieństwa OLS : niektóre będą bliższe zeru, inne będą dokładnie zerowe. Jeżeli zastosowana zostanie rozsądna ilość kary, oszacowania LASSO będą leżeć bliżej prawdziwych wartości niż oszacowania maksymalnego prawdopodobieństwa OLS , co jest pożądanym wynikiem.

Czy właściwe byłoby użycie funkcji wybranych z LASSO w regresji logistycznej?

Nie ma z tym nieodłącznego problemu, ale możesz użyć LASSO nie tylko do wyboru funkcji, ale także do oszacowania współczynnika. Jak wspomniałem powyżej, szacunki LASSO mogą być dokładniejsze niż, powiedzmy, szacunki maksymalnego prawdopodobieństwa OLS .

Richard Hardy
źródło
Dziękuję bardzo za tę odpowiedź! Ma dużo sensu! Proszę wybaczyć moją ograniczoną wiedzę na ten temat. Jak wspomniałeś w innym komentarzu, mogę używać elastycznej siatki zamiast LASSO za pomocą karetki, ponieważ wybiera ona optymalną lambda i alfa. Czy to samo dotyczyłoby współczynników?
Michael Luu
Tak, to by było. Podstawowa logika pozostaje taka sama.
Richard Hardy,
Piszesz „interpretacja pozostaje taka sama”. Czy możesz mi pomóc zrozumieć ten punkt? Wydaje mi się, że interpretacja współczynników OLS w ustawieniach regresji wielokrotnej opiera się na wykresach regresji częściowej . Jednak ta właściwość nie dotyczy współczynników lasso, co prowadzi mnie do wniosku, że interpretacja byłaby inna.
user795305
1
@ Ben. Jeśli założymy podstawowy model statystyczny, możemy oszacować jego parametry na różne sposoby, z których dwa popularne to OLS i lasso. Szacowane współczynniki są ukierunkowane na te same cele i oba mają pewien błąd oszacowania (który, jeśli zostanie podniesiony do kwadratu, może zostać rozłożony na odchylenie i wariancję), więc w tym sensie ich interpretacja jest taka sama. Teraz oczywiście metody nie są takie same, więc otrzymujesz różne oszacowane wartości współczynników. Jeśli zależy ci na metodach i ich interpretacjach algebraicznych i geometrycznych, to nie są one takie same. Ale interpretacje przedmiotowe są takie same.
Richard Hardy
@RichardHardy Ach, dobra, myślę, że lepiej rozumiem, co mówisz. To z pewnością prawda, że ​​lasso może pokonać błąd szacowania OLS, ale na koniec, jak mówisz, są to tylko estymatory dla tego samego celu. Czy jakikolwiek estymator byłby interpretowany w taki sam sposób, jak OLS? Na przykład, czy estymator (nielosowy) byłby interpretowany w ten sposób? lub estymator z identycznymi (0,1) wpisami? (itp.) Wydaje mi się (według mnie), że właściwości estymatora należy bezpośrednio wykorzystać w jego interpretacji, a nawet interpretacje przedmiotowe mogłyby ulec zmianie. (1,…,p)T
user795305