Dlaczego kara Lasso jest równoważna podwójnemu wykładniczemu (Laplaceowi) przedtem?

Czytałem w wielu odnośnikach, że oszacowanie Lasso dla wektora parametru regresji jest równoważne trybowi tylnemu w którym poprzedni rozkład dla każdego jest podwójnym wykładniczym (znanym również jako rozkład Laplace'a).$B$$B$$B_i$

Próbowałem to udowodnić, czy ktoś może dopracować szczegóły?

Dla uproszczenia rozważmy tylko jedną obserwację zmiennej $Y$ takiej jak

$\mu \sim \mbox{Laplace}(\lambda)$ i niepoprawny poprzedni $f(\sigma) \propto \mathbb{1}_{\sigma>0}$ .

Zatem gęstość połączenia $Y, \mu, \sigma^2$ jest proporcjonalna do

Biorąc log i odrzucając warunki, które nie obejmują , log f ( Y , μ , σ 2 ) = - $\mu$

Zatem maksimum (1) będzie oszacowaniem MAP i rzeczywiście jest problemem Lasso po ponownym sparametryzowaniu . $\tilde \lambda = \lambda \sigma^2$

Rozszerzenie do regresji jest jasne - wymienić z X β w normalny prawdopodobieństwa i ustawić przed na beta będzie ciągiem niezależnych Laplace ( X ) rozkładów.$\mu$$X\beta$$\beta$$(\lambda)$

Jest to oczywiste po sprawdzeniu ilości, którą LASSO optymalizuje.

Przyjmijmy, że jest niezależnym Laplace'em ze średnią zero i pewną skalą τ .$\beta_i$$\tau$

Więc .$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Model danych to typowe założenie regresji .$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Teraz minus dwukrotność kłody tylnej jest w formie

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Niech i otrzymamy - 2 log -posterior z$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

Estymator MAP dla minimalizuje powyższe, co minimalizuje$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Tak więc estymatorem MAP dla jest LASSO.$\beta$

(Tutaj potraktowałem jako skutecznie naprawiony, ale możesz robić z nim inne rzeczy i nadal otrzymywać LASSO.)$\sigma^2$

Edycja: To właśnie otrzymuję za skomponowanie odpowiedzi off-line; Nie widziałem dobrej odpowiedzi, która została już opublikowana przez Andrew. Mój naprawdę nic nie robi, czego on już nie robi. Na razie zostawiam mój, ponieważ daje on kilka dodatkowych szczegółów rozwoju pod względem .$\beta$