Zastanawiam się, dlaczego metody wyboru modeli LASSO i LARS są tak popularne, mimo że są to po prostu warianty stopniowego wybierania do przodu (a zatem cierpią na zależność od ścieżki)?
Podobnie, dlaczego metody Ogólnego do Specyficznego (GETS) wyboru modelu są w większości ignorowane, nawet jeśli działają lepiej niż LARS / LASSO, ponieważ nie cierpią na problem regresji stopniowej? (podstawowe odniesienie do GETS: http://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - najnowszy algorytm zaczyna się od szerokiego modelu i wyszukiwania drzewa, które pozwala uniknąć zależności ścieżki, i pokazano, że często radzą sobie lepiej niż LASSO / LARS).
To po prostu dziwne, LARS / LASSO wydają się mieć o wiele więcej ekspozycji i cytatów niż General to Specific (GETS), ktoś ma jakieś przemyślenia?
Nie próbując rozpocząć gorącej debaty, bardziej szukając racjonalnego wyjaśnienia, dlaczego literatura wydaje się koncentrować raczej na LASSO / LARS niż na GETS, a niewiele osób faktycznie wskazuje na niedociągnięcia LASSO / LARS.
Odpowiedzi:
Zastrzeżenie: Jestem tylko zdalnie zaznajomiony z pracą nad wyborem modelu między innymi przez Davida F. Hendry'ego. Wiem jednak od szanowanych kolegów, że Hendry poczynił bardzo interesujący postęp w zakresie problemów związanych z wyborem modelu w ekonometrii. Ocena, czy literatura statystyczna nie zwraca wystarczającej uwagi na jego pracę nad wyborem modelu, wymagałaby dużo więcej pracy z mojej strony.
Interesujące jest jednak zrozumienie, dlaczego jedna metoda lub pomysł generuje znacznie więcej aktywności niż inne. Bez wątpienia w nauce istnieją również aspekty mody. Moim zdaniem lasso (i przyjaciele) ma jedną wielką zaletę, ponieważ jest rozwiązaniem bardzo łatwego do wyrażenia problemu optymalizacji. Jest to klucz do szczegółowego teoretycznego zrozumienia rozwiązania i opracowanych wydajnych algorytmów. Ostatnia książka Bühlmann i Van De Geer , Statistics for High-Dimensional Data , ilustruje, jak wiele wiadomo o lasso.
Możesz wykonywać niekończące się badania symulacyjne i oczywiście możesz zastosować metody, które uważasz za najbardziej odpowiednie i odpowiednie dla konkretnego zastosowania, ale w przypadku części literatury statystycznej należy również uzyskać istotne wyniki teoretyczne. To, że lasso wygenerowało wiele działań, świadczy o tym, że istnieją teoretyczne pytania, na które można właściwie podejść i że mają one interesujące rozwiązania.
Inną kwestią jest to, że lasso lub wariacje na temat wykonywania dobrze w wielu przypadkach. Po prostu nie jestem przekonany, czy to prawda, że lasso jest tak łatwo przewyższać innymi metodami, jak sugeruje PO. Może pod względem (sztucznego) wyboru modelu, ale nie pod względem wydajności predykcyjnej. Żadne z wymienionych odniesień nie wydaje się tak naprawdę porównywać Gets i lasso.
źródło
Istnieje różnica między wyborem podzbioru LASSO i (GETS): LASSO zmniejsza współczynniki do zera w sposób zależny od danych, podczas gdy wybór podzbioru (GETS) nie. Wydaje się, że jest to przewaga wyboru LASSO nad wyborem podzbioru (GETS), nawet jeśli czasami może się nie powieść (wymaga dostrajania parametrów, co zwykle odbywa się poprzez weryfikację krzyżową, a czasami może się zdarzyć, że źle dostroi się).
Wydajność GETS wydaje się być porównywalnej jakości do LASSO, gdy jest wykonywana przez bezstronnych (?) Badaczy (choć niekoniecznie w artykułach, w których proponowana jest nowa wersja GETS - ale tego można się spodziewać); zobacz niektóre odniesienia w tym wątku .
Być może Sir Hendry & Co uzyskuje dobre wyniki za pomocą GETS ze względu na specyfikę ich zastosowań (głównie makroekonomiczne modelowanie szeregów czasowych)? Ale dlaczego tak może być? To jest osobne pytanie .
źródło