Zadano mi więc pytanie, na podstawie których oszacowano centralne miary L1 (tj. Lasso) i L2 (tj. Regresja grzbietu). Odpowiedź to L1 = mediana i L2 = średnia. Czy jest w tym coś intuicyjnego? A może trzeba to ustalić algebraicznie? Jeśli tak, jak mam to
Niektóre funkcje karne i przybliżenia są dobrze zbadane, takie jak LASSO ( L1L1L_1 ) i Grzbiet ( L2L2L_2 ) i ich porównanie w regresji. Czytałem o karie za most, która jest karą uogólnioną ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma} . Porównaj to z LASSO, który ma γ=1γ=1\gamma = 1 , i Grzbietem,...
Załóżmy, że próbuję oszacować dużą liczbę parametrów na podstawie danych wielowymiarowych, używając pewnego rodzaju regularnych oszacowań. Regularizator wprowadza pewne szacunki do szacunków, ale nadal może być dobrym kompromisem, ponieważ zmniejszenie wariancji powinno więcej niż...
W przypadku modelu liniowego termin skurczu wynosi zawsze .P ( β )y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) Jaki jest powód, dla którego nie zmniejszamy terminu odchylenia (przechwytywania) ? Czy powinniśmy zmniejszyć termin obciążenia w modelach sieci...
Rozważmy standardowy model regresji wielokrotnej gdzie , więc normalność, homoscedastyczność i nieskorelacja błędów pozostają w mocy.Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2)jan)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Załóżmy, że wykonujemy regresję grzbietu, dodając tę...
Rozważ regresję kalenicową z dodatkowym ograniczeniem wymagającym, aby miał jednostkową sumę kwadratów (równoważnie wariancję jednostkową); w razie potrzeby można założyć, że ma również jednostkową sumę kwadratów:y^y^\hat{\mathbf y}yy\mathbf
Używam ukaranego pakietu R, aby uzyskać skurczone oszacowania współczynników dla zbioru danych, w którym mam dużo predyktorów i mało wiem, które z nich są ważne. Po wybraniu parametrów dostrajania L1 i L2 i jestem zadowolony z moich współczynników, czy istnieje statystycznie rozsądny sposób na...
Zrozumiałem, w jaki sposób regresja kalenicy zmniejsza geometrycznie współczynniki do zera. Co więcej, wiem, jak to udowodnić w specjalnym „przypadku ortonormalnym”, ale jestem zdezorientowany, jak to działa w przypadku ogólnym poprzez „rozkład
Pamiętam, że gdzieś w Internecie przeczytałem związek między regresją kalenicy (z regulacją ℓ2ℓ2\ell_2 ) a regresją PCA: podczas korzystania z regresji regulowanej z hiperparametrem , jeśli , to regresja jest równoważna usunięciu Zmienna PC o najmniejszej wartości...
Pytanie Co wyciągnąć z tego wykresu lasso (glmnet) pokazuje ścieżki rozwiązania estymatora lasso, które nie są monotoniczne. Oznacza to, że niektórzy współpracownicy rosną w wartości bezwzględnej, zanim się skurczą. Zastosowałem te modele do kilku różnych rodzajów zestawów danych i nigdy nie...
Jaka jest różnica między regresją pierwotną , podwójną i regresją jądra ? Ludzie używają wszystkich trzech, a ze względu na odmienną notację, którą wszyscy używają z różnych źródeł, trudno mi się naśladować. Więc czy ktoś może mi powiedzieć prostymi słowami, jaka jest różnica między tymi trzema?...
Podczas eksperymentu dotyczącego klasyfikacji tekstu znalazłem klasyfikator grzbietowy generujący wyniki, które stale przewyższają testy wśród tych klasyfikatorów, które są częściej wymieniane i stosowane do zadań eksploracji tekstu, takich jak SVM, NB, kNN itp. Chociaż nie opracowałem na temat...
Wiem o zaletach regularyzacji przy budowaniu modeli predykcyjnych (uprzedzenie vs. wariancja, zapobieganie nadmiernemu dopasowaniu). Zastanawiam się jednak, czy dobrym pomysłem jest również regularyzacja (lasso, kalenica, siatka elastyczna), gdy głównym celem modelu regresji jest wnioskowanie o...
Używam regresji grzbietu na wysoce wielokoliniowych danych. Używając OLS, otrzymuję duże standardowe błędy współczynników z powodu wielokoliniowości. Wiem, że regresja kalenicy jest sposobem na poradzenie sobie z tym problemem, ale we wszystkich implementacjach regresji kalenicy, na które...
Mówi się, że estymatory regresji karnej, takie jak LASSO i kalenica, odpowiadają estymatorom bayesowskim z pewnymi priorytetami. Wydaje mi się (ponieważ nie wiem wystarczająco dużo na temat statystyki bayesowskiej), że dla ustalonego parametru strojenia istnieje konkretny wcześniejszy...
Mam zestaw 150 funkcji, a wiele z nich jest ze sobą bardzo skorelowanych. Moim celem jest przewidzenie wartości zmiennej dyskretnej, której zakres wynosi 1-8 . Mój rozmiar próbki wynosi 550 i używam 10-krotnej walidacji krzyżowej. AFAIK, wśród metod regularyzacji (Lasso, ElasticNet i Ridge), Ridge...
Wdrażam regresję Ridge'a w module Python / C i natrafiłem na ten „mały” problem. Chodzi o to, że chcę próbować efektywne stopnie swobody mniej więcej równomiernie rozmieszczone (jak wykres na stronie 65 w „Elementach uczenia statystycznego” ), tj. Próbka:
Podczas wyjaśniania regresji LASSO często stosuje się schemat rombu i koła. Mówi się, że ponieważ kształt ograniczenia w LASSO jest diamentem, otrzymane rozwiązanie najmniejszych kwadratów może dotykać narożnika diamentu, powodując skurcz jakiejś zmiennej. Jednak w regresji grzbietu, ponieważ jest...
Regresja grzbietu szacuje parametry w modelu liniowym według gdzie jest parametrem regularyzacji. Dobrze wiadomo, że często działa lepiej niż regresja OLS (z \ lambda = 0 ), gdy istnieje wiele skorelowanych predyktorów.Y = X β β λ = ( X ⊤ X + λ I ) - 1 X ⊤ Y , λ λ = 0ββ\boldsymbol...
Rozważ standardowy problem regresji OLS : Mam macierze i i chcę znaleźć aby zminimalizować L = \ | \ Y- \ X \ B \ | ^ 2. Rozwiązanie podano przez \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf