Czy istnieje wyraźny zestaw warunków, w których ścieżki lasso, grzbiety lub elastyczne siatki są monotonne?

Pytanie Co wyciągnąć z tego wykresu lasso (glmnet) pokazuje ścieżki rozwiązania estymatora lasso, które nie są monotoniczne. Oznacza to, że niektórzy współpracownicy rosną w wartości bezwzględnej, zanim się skurczą.

Zastosowałem te modele do kilku różnych rodzajów zestawów danych i nigdy nie widziałem tego zachowania „na wolności” i do dziś zakładałem, że zawsze były monotoniczne.

Czy istnieje wyraźny zestaw warunków, w których ścieżki rozwiązania są gwarantowane jako monotonne? Czy wpływa to na interpretację wyników, jeśli ścieżki zmienią kierunek?

lasso ridge-regression elastic-net Shadowtalker
źródło

W jakim sensie monotonia? Wydaje mi się to mało znaczące, jeśli chcesz traktować to jako wykres jakiejś funkcji.

Henry.L

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

Uwaga: zrozumienie sposobu, w jaki lasso zmniejsza współczynniki, jest tematem zarówno tego pytania, jak i stats.stackexchange.com/questions/145299/…

user795305

Nie wiem, jak to przeoczyłem wcześniej, na pytanie lassa odpowiada odpowiedź OP na jego własne pytanie w powyższym pytaniu.

user795305,

Odpowiedzi:

Mogę dać ci wystarczającą przesłankę ścieżka być monotoniczne: AN ortonormalną projekt $X$ .

Załóżmy, że macierz projektu ortonormalnego, czyli ze zmiennymi , mamy . W przypadku projektu ortonormalnego współczynniki regresji OLS są po prostu . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Warunki Karush-Khun-Tucker dla LASSO upraszczają zatem:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Gdzie jest pod gradientem. Dlatego dla każdego mamy , a my mieć zamkniętą formę rozwiązania szacunków lasso: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Który jest monotoniczny w . Chociaż nie jest to warunek konieczny, widzimy, że zakaz monotoniczność musi pochodzić od korelacji zmiennych objaśniających w . $\lambda$ $X$

Carlos Cinelli
źródło