Lasso porządkuje opóźnienie?

Załóżmy, że mam dane podłużne postaci (Mam wiele obserwacji, to tylko forma jednego). Interesują mnie ograniczenia dotyczące . Nieograniczony jest równoważny z wzięciem z .$\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$$\Sigma$$\Sigma$

Zazwyczaj nie jest to wykonywane, ponieważ wymaga oszacowania parametrów kowariancji . Model jest „lag- ”, jeśli weźmiemy tzn. tylko poprzedniego warunki przewidywania z historii.$O(J^2)$$k$

To, co naprawdę chciałbym zrobić, to użyć jakiegoś pomysłu na skurcz, aby wyzerować niektóre , takie jak LASSO. Ale rzecz w tym, że także chciałby metody używam preferują modele, które są lag- dla pewnego ; Chciałbym karać za opóźnienia wyższego rzędu bardziej niż opóźnienia niższego rzędu. Myślę, że jest to coś, co szczególnie chcielibyśmy zrobić, biorąc pod uwagę, że predyktory są wysoce skorelowane.$\phi_{\ell j}$$k$$k$

Dodatkowym problemem jest to, że jeśli (powiedzmy) jest skurczony do , chciałbym również, jeśli jest skurczony do , tj. To samo opóźnienie jest używane we wszystkich dystrybucjach warunkowych.$\phi_{35}$$0$$\phi_{36}$$0$

Mógłbym spekulować na ten temat, ale nie chcę wymyślać koła na nowo. Czy są jakieś techniki LASSO zaprojektowane w celu rozwiązania tego rodzaju problemu? Czy lepiej zrobić coś zupełnie innego, np. Stopniowe dołączanie opóźnień? Ponieważ moja przestrzeń modelu jest niewielka, mógłbym nawet zastosować karę za ten problem?$L_0$

Możesz wykonać krzyżową weryfikację wielokrotnie od k = 0 do dowolnej wartości maksymalnej i wykreślić wydajność względem k. Ponieważ model jest testowany na danych, których wcześniej nie widział, nie ma gwarancji, że złożone modele będą działały lepiej, i rzeczywiście powinieneś zobaczyć pogorszenie wydajności, jeśli model stanie się zbyt złożony z powodu przeregulowania. Osobiście uważam, że jest to bezpieczniejsze i łatwiejsze do uzasadnienia niż stosowanie arbitralnego czynnika karnego, ale przebieg może się różnić.

Nie bardzo też śledzę, w jaki sposób zamówiony Lasso odpowiada na pytanie. Wydaje się to zbyt restrykcyjne, całkowicie wymusza uporządkowanie współczynników. Podczas gdy pierwotne pytanie może skończyć się dla niektórych danych mających rozwiązanie, w którym nie zmniejsza się ściśle z l.$\phi_{lj}$

Nakazał LASSO wydaje się być to, czego szukasz: oblicza ona uregulowana współczynników regresji$\beta_{1...j}$ jak w standardowym LASSO, ale z zastrzeżeniem dodatkowego ograniczenia, które $|\beta_1| \geq |\beta_2|...\geq|\beta_j|$.

Osiąga to drugi cel, polegający na wyzerowaniu współczynników dla opóźnień wyższego rzędu, ale jest bardziej restrykcyjny niż samo ograniczenie preferowania modelu niższego opóźnienia. Jak podkreślają inni, jest to poważne ograniczenie, które może być bardzo trudne do uzasadnienia.

Po odejściu od zastrzeżeń, w artykule przedstawiono wyniki metody zarówno w rzeczywistych, jak i symulowanych danych szeregów czasowych, a także szczegółowe algorytmy w celu znalezienia współczynników. Wniosek wspomina o pakiecie R, ale artykuł jest dość nowy, a wyszukiwanie w CRAN „uporządkowanego LASSO” jest puste, więc podejrzewam, że pakiet jest wciąż w fazie rozwoju.

Artykuł oferuje również ogólne podejście, w którym dwa parametry regularyzacji „zachęcają do niemal monotoniczności”. (Patrz s. 6.) Innymi słowy, należy być w stanie dostroić parametry, aby umożliwić swobodne zamawianie. Niestety nie podano przykładów ani porównań metody zrelaksowanej. Ale autorzy piszą, że wdrożenie tej zmiany jest prostą kwestią zastąpienia jednego algorytmu innym, więc ma się nadzieję, że będzie on częścią nadchodzącego pakietu R.

Można zastosować zagnieżdżoną karę LASSO ( pdf ), ale nie ma dla niej pakietów R.

Wiem, że napisałeś to jako przesłankę, ale nie użyłbym zamówionego LASSO bez absolutnej pewności, że jest to rzecz, która jest potrzebna, ponieważ założenia zamówionego LASSO nie są bezpośrednio odpowiednie do przewidywania szeregów czasowych. Jako przeciwny przykład rozważ przypadek, w którym masz opóźnienie, powiedzmy, dziesięć kroków czasowych między pomiarem a celem. Oczywiście uporządkowane ograniczenia LASSO nie są w stanie poradzić sobie z takimi efektami bez przypisywania bzdur pierwszym dziewięciu parametrom.

W przeciwieństwie do tego wolałbym trzymać się normalnego LASSO i dołączyć wszystkie poprzednie obserwacje - szczególnie dlatego, że napisałeś, że przestrzeń modelu jest niewielka, a procedury optymalizacji zejścia ze współrzędnymi dla LASSO (jak opisano tutaj ) działają skutecznie również dla dużych zbiorów danych. Następnie oblicz ścieżkę parametru siły regularyzacji$\lambda$ i sprawdź, które parametry są uwzględniane, gdy zaczynasz od dużych $\lambda$ do $\lambda=0$. Ważne są zwłaszcza te zawarte wcześniej.

Na koniec musisz wybrać odpowiednie kryterium i zoptymalizować parametr $\lambda$za pomocą walidacji krzyżowej, standardowej minimalizacji jednowymiarowej lub cokolwiek innego. Kryterium może na przykład wyglądać jak „błąd prognozowania + liczba uwzględnionych zmiennych” (- podobne do kryterium AIC).