Podczas wyjaśniania regresji LASSO często stosuje się schemat rombu i koła. Mówi się, że ponieważ kształt ograniczenia w LASSO jest diamentem, otrzymane rozwiązanie najmniejszych kwadratów może dotykać narożnika diamentu, powodując skurcz jakiejś zmiennej. Jednak w regresji grzbietu, ponieważ jest...
Czytałem najpopularniejsze książki w nauce statystycznej 1- Elementy uczenia statystycznego. 2- Wprowadzenie do uczenia statystycznego . Obaj wspominają, że regresja kalenicy ma dwie równoważne formuły. Czy istnieje zrozumiały matematyczny dowód tego wyniku? Przeszedłem również przez Cross...
W „Elementach uczenia statystycznego” (wydanie drugie), s. 63, autorzy podają następujące dwa sformułowania problemu regresji kalenicy: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} =...
Na tej stronie jest już post mówiący o tym samym problemie: Dlaczego działa skurcz? Ale mimo że odpowiedzi są popularne, nie sądzę, aby sedno pytania zostało naprawdę rozwiązane. Oczywiste jest, że wprowadzenie błędu systematycznego w estymacji powoduje zmniejszenie wariancji i może poprawić...
Słyszałem, że regresję grzbietu można wyprowadzić jako średnią rozkładu z tyłu, jeśli uprzednio zostanie odpowiednio wybrany. Czy intuicja, że ograniczenia określone przez współczynniki regresji przez wcześniejsze (np. Standardowe rozkłady normalne około 0) są identyczne / zastępuje karę...
Zdaję sobie sprawę z rodzaju regularyzacji typu LASSO, grzbietu i siatki elastycznej w modelach regresji liniowej. Pytanie: Czy ten (lub podobny) rodzaj oszacowania podlegającego sankcji można zastosować do modelowania ARIMA (z niepustą częścią MA)? Przy budowaniu modeli ARIMA wydaje się, że...
Próbuję zobaczyć, czy wybrać regresję grzbietu , LASSO , regresję głównego składnika (PCR), czy częściowe najmniejsze kwadraty (PLS) w sytuacji, gdy istnieje duża liczba zmiennych / cech ( ppp ) i mniejsza liczba próbek ( n<pn<pn np>10np>10np>10n Zmienne ( i Y ) są skorelowane ze sobą w...
Uczę się o regresji grzbietu i wiem, że regresja kalenicy działa lepiej w obecności wielokoliniowości. Zastanawiam się, dlaczego to prawda? Odpowiedź intuicyjna lub matematyczna byłaby satysfakcjonująca (oba typy odpowiedzi byłyby jeszcze bardziej satysfakcjonujące). Wiem też, że zawsze można...
Ogólnie rozumiem, że AIC zajmuje się kompromisem między dobrem dopasowania modelu a złożonością modelu. A jado= 2 k - 2 l n ( L )AIC=2k−2ln(L)AIC =2k -2ln(L) kkk = liczba parametrów w modelu L.LL = prawdopodobieństwo Bayesowskie kryterium informacyjne BIC jest ściśle powiązane z AIC. AIC karać...
W regresji grzbietu funkcją celu, którą należy zminimalizować, jest:RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Czy można to zoptymalizować za pomocą metody mnożnika Lagrange'a? Czy jest to proste
Kiedy wykonujesz regresję grzbietu, jak interpretujesz współczynniki, które kończą się powyżej odpowiadających im współczynników pod co najmniej kwadratami (dla niektórych wartości )? Czy regresja kalenicy nie ma monotonicznie zmniejszać współczynników?λλ\lambda W powiązanej uwadze, w jaki sposób...
Korzystam z pakietu „lars” w języku R z następującym kodem: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Chcę obliczyć AICc modelu regresji grzbietu. Problemem jest liczba parametrów. W przypadku regresji liniowej większość osób sugeruje, że liczba parametrów jest równa liczbie szacowanych współczynników plus sigma (wariancja błędu). Jeśli chodzi o regresję grzbietu, czytam, że ślad macierzy...
Mam już pojęcie o zaletach i wadach regresji grzbietu i LASSO. W przypadku LASSO kara karna L1 da rzadki wektor współczynnika, który można postrzegać jako metodę wyboru cech. Istnieją jednak pewne ograniczenia dotyczące LASSO. Jeśli funkcje mają wysoką korelację, LASSO wybierze tylko jedną z nich....
Szukam literatury na temat negatywnej regresji kalenicy . W skrócie, jest to uogólnienie regresji liniowej grzbiet wykluczających λλ\lambda we wzorze β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Przypadek pozytywny ma ładną teorię: jako funkcję straty, jako...
Według odniesień Księga 1 , Księga 2 i papier . Wspomniano, że istnieje równoważność między regresją regulowaną (Ridge, LASSO i Elastic Net) a ich formułami ograniczeń. Patrzyłem również na Cross Validated 1 i Cross Validated 2 , ale nie widzę wyraźnej odpowiedzi pokazującej, że równoważność lub...
Czytałem, że regresję grzbietu można osiągnąć, po prostu dodając wiersze danych do oryginalnej macierzy danych, gdzie każdy wiersz jest konstruowany przy użyciu 0 dla zmiennych zależnych i pierwiastka kwadratowego kkk lub zero dla zmiennych niezależnych. Następnie dodaje się jeden dodatkowy wiersz...
Ten post jest następujący: dlaczego oszacowanie grzbietu staje się lepsze niż OLS poprzez dodanie stałej do przekątnej? Oto moje pytanie: O ile mi wiadomo, w regularyzacji grzbietu stosuje się -norm (odległość euklidesowa). Ale dlaczego używamy kwadratu tej normy? (bezpośrednie zastosowanie...
Po przeczytaniu rozdziału 3 w elementach statystycznego uczenia się (Hastie, Tibshrani i Friedman) zastanawiałem się, czy możliwe jest wdrożenie słynnych metod skurczu cytowanych w tytule tego pytania ze względu na strukturę kowariancji, tj. Zminimalizowanie (być może bardziej ogólnego ) ilość (...
Niech A będzie macierzą n × pn×pn \times p zmiennych niezależnych, a B będzie odpowiadającą macierzą wartości zależnych. Regresję kalenicy, że określenie parametrów tak, że: . Teraz pozwól [usv] = svd (A) i ukośny wpis „s”. definiujemy stopnie swobody (df) = . Regresja grzbietu zmniejsza...