Chciałbym ręcznie naprawić pewien współczynnik, powiedzmy , a następnie dopasować współczynniki do wszystkich innych predyktorów, zachowując w modelu.β 1 = 1,0β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 Jak mogę to osiągnąć za pomocą R? Szczególnie chciałbym pracować z LASSO ( glmnet), jeśli to...
Moja sytuacja: mała wielkość próby: 116 binarna zmienna wyniku długa lista zmiennych objaśniających: 44 zmienne objaśniające nie pochodziły z mojej głowy; ich wybór opierał się na literaturze. większość przypadków w próbie i większość zmiennych ma brakujące wartości. Podejdź do wybranego...
Próbuję wykonać regresję lasso, która ma następującą postać: Minimalizuj w( Y - X w ) ′ ( Y - X w ) + λwww( Y- Xw )′( Y- Xw ) + λ| w |1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Biorąc pod uwagę , doradzono mi, aby znaleźć optymalne za pomocą programowania kwadratowego, które...
Jeśli β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , może ∥β∗∥2‖β∗‖2\|\beta^*\|_2 wzrosnąć, gdy λλ\lambda wzrasta? Myślę, że to jest możliwe. Chociaż ∥β∗∥1‖β∗‖1\|\beta^*\|_1 nie rośnie, gdy λλ\lambda rośnie (mój dowód ),...
Próbuję dokonać wyboru modelu na niektórych predyktorach kandydujących przy użyciu LASSO z ciągłym wynikiem. Celem jest wybór optymalnego modelu o najlepszej wydajności predykcji, co zwykle można wykonać przez K-krotnie walidację krzyżową po uzyskaniu ścieżki rozwiązania parametrów strojenia z...
Korzystam z modelu regresji zarówno z Lasso, jak i Ridge'em (aby przewidzieć dyskretną zmienną wyniku w zakresie od 0-5). Przed uruchomieniem modelu używam SelectKBestmetody scikit-learnzmniejszenia zestawu funkcji z 250 do 25 . Bez wstępnego wyboru funkcji, zarówno Lasso, jak i Ridge dają niższe...
Wiem, że powszechną praktyką jest standaryzacja cech regresji grzbietu i lasso, jednak czy bardziej praktyczna byłaby normalizacja cech w skali (0,1) jako alternatywa dla standaryzacji z-score dla tych metod regresji?
Mam sylwetkę modelu liniowego w R użyciem glmnet. Oryginalny (nieregulowany) model został dopasowany przy użyciu lmi nie miał stałego terminu (tj. Był w formie lm(y~0+x1+x2,data)). glmnetbierze macierz predyktorów i wektor odpowiedzi. Czytam glmnetdokumentację i nie mogę znaleźć wzmianki o tym...
Modele ukarane mogą być wykorzystane do oszacowania modeli, w których liczba parametrów jest równa lub nawet większa niż wielkość próbki. Taka sytuacja może wystąpić w logarytmiczno-liniowych modelach dużych rzadkich tabel danych kategorialnych lub zliczających. W tych ustawieniach często jest...
Czytałem ten artykuł dotyczący elastycznej siatki. Mówią, że używają elastycznej siatki, ponieważ jeśli użyjemy tylko Lasso, zwykle wybierany jest tylko jeden predyktor spośród predyktorów, które są wysoce skorelowane. Ale czy nie tego chcemy? Mam na myśli, że ratuje nas przed problemem...
Otrzymałem trzy zredukowane modele z oryginalnego pełnego modelu przy użyciu wybór do przodu eliminacja wsteczna Technika penalizacji L1 (LASSO) Dla modeli uzyskanych za pomocą selekcji do przodu / eliminacji wstecznej uzyskałem oszacowane krzyżowo oszacowanie błędu prognozowania przy użyciu...
Funkcja R cv.glm (biblioteka: boot) oblicza szacowany błąd prognozy krotności K-krotności dla uogólnionych modeli liniowych i zwraca deltę. Czy warto używać tej funkcji do regresji lasso (biblioteka: glmnet), a jeśli tak, to w jaki sposób można ją przeprowadzić? Biblioteka glmnet używa weryfikacji...
Jak wykonać nieujemną regresję kalenicy? Lasso nieujemne jest dostępne w scikit-learn, ale dla grzbietu nie mogę wymusić nieujemności bety i rzeczywiście otrzymuję współczynniki ujemne. Czy ktoś wie, dlaczego tak jest? Czy mogę również zastosować grzbiet w kategoriach zwykłych najmniejszych...
Podczas mojej lekcji uczenia maszynowego dowiedzieliśmy się, jak regresja LASSO jest bardzo dobra w wykonywaniu wyboru funkcji, ponieważ wykorzystuje regulację .l1l1l_1 Moje pytanie: czy ludzie zwykle używają modelu LASSO tylko do dokonywania wyboru funkcji (a następnie kontynuują zrzucanie tych...
Zastanawiam się, jak właściwie podejść do szkolenia i testowania modelu LASSO przy użyciu glmnet w R? W szczególności zastanawiam się, jak to zrobić, jeśli brak zewnętrznego zestawu danych testowych wymaga użycia weryfikacji krzyżowej (lub innego podobnego podejścia) do przetestowania mojego...
[Podobne pytanie zostało zadane tutaj bez odpowiedzi] Dopasowałem model regresji logistycznej z regularyzacją L1 (regresja logistyczna Lasso) i chciałbym przetestować dopasowane współczynniki pod kątem istotności i uzyskać ich wartości p. Wiem, że testy Walda (na przykład) są opcją testowania...
Byłem ostatnio na kilku rozmowach statystycznych na temat Lasso (regularyzacja), a kwestią, która wciąż się pojawia, jest to, że tak naprawdę nie rozumiemy, dlaczego Lasso działa lub dlaczego działa tak dobrze. Zastanawiam się, do czego odnosi się to oświadczenie. Oczywiście rozumiem, dlaczego...
Jeśli mam macierz projektową , gdzie jest liczbą obserwacji wymiaru , jaka jest złożoność rozwiązania dla z Lasso wrt i ? Myślę, że odpowiedź powinna odnosić się do tego, jak jedna iteracja LASSO skaluje się z tymi parametrami, a nie do tego, jak skaluje się liczba iteracji (zbieżności), chyba że...
W kilku odpowiedziach widziałem, jak użytkownicy CrossValidated sugerują OP znaleźć wczesne artykuły na temat Lasso, Ridge i Elastic Net. Dla potomnych, jakie są przełomowe prace na temat Lasso, Ridge i Elastic Net?
Rozumiem, że regresja LASSO jest taka, że współczynniki regresji są wybrane w celu rozwiązania problemu minimalizacji: minβ. Y- Xβ∥2)2) s . t . ∥ β∥1≤ tminβ‖y-Xβ‖2)2) s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t W praktyce odbywa się to za pomocą mnożnika Lagrange'a, co...