Jak oszacować parametr skurczu w regresji Lasso lub regresji kalenicowej przy zmiennych> 50K?

Chcę użyć regresji Lasso lub regresji grzbietu dla modelu z ponad 50 000 zmiennych. Chcę to zrobić za pomocą pakietu oprogramowania w R. Jak mogę oszacować parametr skurczu ( $\lambda$ )?

Edycje:

Oto punkt, do którego doszedłem:

set.seed (123)
Y <- runif (1000)
Xv <- sample(c(1,0), size= 1000*1000,  replace = T)
X <- matrix(Xv, nrow = 1000, ncol = 1000)

mydf <- data.frame(Y, X)

require(MASS)
lm.ridge(Y ~ ., mydf)

plot(lm.ridge(Y ~ ., mydf,
              lambda = seq(0,0.1,0.001)))

wprowadź opis zdjęcia tutaj

Moje pytanie brzmi: skąd mam wiedzieć, który jest najlepszy dla mojego modelu? $\lambda$

r lasso ridge-regression high-dimensional Jan
źródło

Parametr wygładzania nie jest statystycznie możliwy do oszacowania, ale wykorzystuje wybrany, aby zmaksymalizować dopasowanie poza próbą za pomocą, na przykład, walidacji krzyżowej. Myślę, że standardowe pakiety dla LASSO i Ridge Regression w R mają wbudowaną funkcjonalność, aby to dla Ciebie zrobić - czy już to sprawdziłeś?

Makro

Nie zgadzam się - możesz oszacować parametr wygładzania, stosując podejście modelu mieszanego. Istnieją metody Reml, podobnie jak heirarchiczne metody Bayesa. Nie potrzebujesz drogiej weryfikacji krzyżowej.

Prawdopodobieństwo

@probabilityislogic dziękuję za informację. Byłoby wspaniale, gdyby w skrypcie było niewiele szczegółów, jak możemy to zrobić za pomocą reml

Jan

W przypadku regresji grzbietowej wykluczenie krzyżowe jest zasadniczo bezpłatne (statystyki PRESS Allena) i uważam, że jest to dość dobra metoda. Jednak z tak może cechować się prawie każda metoda, którą użyjesz będzie niestabilna, a w pełni bayesowskie podejście marginalizujące zarówno parametry, jak i parametry regularyzacji prawdopodobnie będzie bardziej niezawodnym rozwiązaniem (jak sądzę sugerowało prawdopodobieństwo logiki). Jeśli nie lubisz metod bayesowskich, użyj workowania i ponownie oszacuj lambda za każdym razem.

Dikran Marsupial

@Macro - (nic podobnego do odpowiedzi 18 miesięcy później). W podejściu modelu mieszanego istnieją dwa dodatkowe terminy, które zależą tylko od

ale nie od

. Są to

gdzie

jest liczbą bet, a X matrycą predykcyjną. Pierwszy termin pochodzi od

gdzie

λ

$\lambda$

β

$\beta$

- k \log (λ)

$-k\log(\lambda)$

\log | X^{T} X + λ I |

$\log|X^TX+\lambda I|$

k

$k$

β \sim N (0, σ^{2} λ^{- 1})

$\beta\sim N(0,\sigma^2\lambda^{-1})$

σ^{2}

$\sigma^2$ jest wariancją błędu. Drugi składnik jest REML korekcji w celu uwzględnienia niepewność podłączając

β = \hat{β}

$\beta=\hat{\beta}$

probabilislogiczny

Odpowiedzi:

cv.glmnet $\lambda$ $\ell_1$ $\ell_1$ $\ell_2$ $\alpha$

$\lambda$ $\lambda$ cv.glmnet $\lambda$ lambda.minlambda.1se $\lambda$ type.measure

Alternatywnie pakiet R mgcv zawiera szerokie możliwości szacowania z kwadratową penalizacją, w tym automatyczny wybór parametrów kary. Wdrożone metody obejmują uogólnioną walidację krzyżową i REML, jak wspomniano w komentarzu. Więcej szczegółów można znaleźć w książce autorów pakietu: Wood, SN (2006) Uogólnione modele addytywne: wprowadzenie do R, CRC.

NRH
źródło

cv.glmnet

λ

$\lambda$ lambda.minlambda.1se

@chl, dzięki za sugestię. Powinienem to dodać.

NRH

Ta odpowiedź jest specyficzna dla MATLAB, jednak podstawowe pojęcia powinny być dość podobne do tego, do czego przywykłeś z R ...

W przypadku MATLAB istnieje możliwość uruchomienia lasso z włączoną weryfikacją krzyżową.

Jeśli to zrobisz, funkcja lasso zgłosi dwie krytyczne wartości parametrów

Wartość lambda, która minimalizuje średni kwadratowy błąd potwierdzony krzyżowo
Wartość lambda o największym skurczu, której CVMSE mieści się w granicach jednego standardowego błędu minimum.

Otrzymasz również ładny mały wykres, którego możesz użyć do sprawdzenia związku między lambda a CVMSE

wprowadź opis zdjęcia tutaj

Ogólnie rzecz biorąc, wybierzesz wartość lambda, która mieści się między niebieską linią a zieloną linią.

Poniższy post na blogu zawiera kod demonstracyjny oparty na kilku przykładach z

Tibshirani, R. (1996). Skurcz regresji i selekcja poprzez lasso. J. Royal. Statystyk. Soc B., Vol. 58, nr 1, strony 267-288).

http://blogs.mathworks.com/loren/2011/11/29/subset-selection-and-regularization-part-2/

Richard Willey
źródło

$L_{2}$ rmsrms pentrace

Frank Harrell
źródło

Wydaje się, że to bardzo interesująca odpowiedź, czy chciałbyś trochę rozwinąć?

Yair Daon,

Zobacz biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/iscb98.pdf

Frank Harrell