Regularyzacja L2 jest równoważna z Prior Gaussa

56

Czytam to i intuicyjnie widzę to, ale jak przejść od regularyzacji L2 do stwierdzenia, że analitycznie jest to Przeor Gaussa? To samo dotyczy twierdzenia, że L1 jest równoważne wcześniejszemu Laplaceanowi.

Wszelkie dalsze odniesienia byłyby świetne.

regression references regularization Anonimowy
źródło

54

Wyobraźmy sobie, że chcesz wnioskować o pewnym parametrze $\beta$ podstawie obserwowanych par wejściowo-wyjściowych $(x_1,y_1)\dots,(x_N,y_N)$ . Załóżmy, że wyjścia są liniowo powiązane z danymi wejściowymi za pośrednictwem $\beta$ i że dane są uszkodzone przez pewien szum $\epsilon$ :

y_{n} = β x_{n} + ϵ,

$y_n = \beta x_n + \epsilon,$

gdzie $\epsilon$ jest szumem Gaussa ze średnią $0$ i wariancją $\sigma^2$ . Daje to prawdopodobieństwo Gaussa:

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2).$

Uregulujmy parametr $\beta$ przez nałożenie wcześniejszego gaussowskiego $\mathcal{N}(\beta|0,\lambda^{-1}),$ gdzie $\lambda$ jest ściśle dodatnim skalarem. Dlatego łącząc prawdopodobieństwo i pierwszeństwo mamy po prostu:

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) N (β | 0, λ^{- 1}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2) \mathcal{N}(\beta|0,\lambda^{-1}).$

Weźmy logarytm powyższego wyrażenia. Po upuszczeniu niektórych stałych otrzymujemy:

\sum_{n = 1}^{N} - \frac{1}{σ^{2}} (y_{n} - β x_{n})^{2} - λ β^{2} + const .

$\sum_{n=1}^N -\frac{1}{\sigma^2}(y_n-\beta x_n)^2 - \lambda \beta^2 + \mbox{const}.$

Jeśli zmaksymalizujemy powyższe wyrażenie w odniesieniu do , otrzymamy tak zwane maksymalne oszacowanie a-posteriori dla lub w skrócie oszacowanie MAP. W tym wyrażeniu staje się jasne, dlaczego przeor Gaussa można interpretować jako termin regularyzacji L2. $\beta$ $\beta$

Podobnie związek między normą L1 a wcześniejszym Laplace'a można zrozumieć w ten sam sposób. Weź zamiast przeora Gaussa, przeor Laplace'a połącz to ze swoim prawdopodobieństwem i weź logarytm.

Dobrym odniesieniem (być może nieco zaawansowanym) opisującym oba zagadnienia jest artykuł „Adaptacyjna rzadkość dla nadzorowanego uczenia się”, który obecnie nie wydaje się łatwy do znalezienia w Internecie. Alternatywnie spójrz na „Adaptacyjną rzadkość za pomocą Jeffreys Prior” . Innym dobrym odniesieniem jest „O klasyfikacji bayesowskiej z pierwszeństwem Laplace'a” .

ngiann
źródło

1

Czy w D dimensionprzypadku regresji liniowej mogą betai sigmamają wyraźne rozwiązania? Czytam PRML i znajduję równanie (1.67) na stronie 30 i nie mam pojęcia, jak je rozwiązać. Z największym prawdopodobieństwem rozwiązujemy, betaa następnie sigmaustawiając gradient na zero. W normalizowanym najmniejszym kwadracie, ponieważ niektóre parametry requularyzacji lambdasą znane, my rozwiązujemy betabezpośrednio. Ale jeśli bezpośrednio rozwiązać mapę, jaka jest kolejność rozwiązywania beta, sigma? Czy mogą mieć jednoznaczne rozwiązanie lub musimy zastosować proces iteracyjny?

stackunderflow

λ β

$\lambda \beta$

λ β^{2}

$\lambda \beta^2$

@AdamO Ogranicza liczbę wartości, które mogą przyjąć współczynniki. Jeśli wcześniejsza wartość wynosi na przykład od 1 do 10, wówczas istnieje prawdopodobieństwo, że współczynnik przyjmie dowolną inną wartość, tj. [-Inf do 1] i [10, + inf].

imsrgadich

1

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

11

$L_{2}$

Zauważ, że istnieje bardziej fundamentalna różnica w tym, że tylna Bayesa jest rozkładem prawdopodobieństwa, podczas gdy uregulowane przez Tichonowa rozwiązanie najmniejszych kwadratów jest konkretnym oszacowaniem punktowym.

Jest to omówione w wielu podręcznikach dotyczących Bayesowskich metod odwrotnych problemów, patrz na przykład:

http://www.amazon.com/Inverse-Problem-Methods-Parameter-Estimation/dp/0898715725/

http://www.amazon.com/Parameter-Estimation-Inverse-Problems-Second/dp/0123850487/

$L_{1}$

Brian Borchers
źródło

9

Pierwsza uwaga, że mediana minimalizuje normę L1 (zobacz tutaj lub tutaj, aby dowiedzieć się więcej na temat L1 i L2)

median (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{1}

$\DeclareMathOperator*{\argmin}{arg\,min} \text{median}(x) = \argmin_s \sum_i |x_i - s|^1$

podczas gdy średnia minimalizuje L2

mean (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{2}

$\text{mean}(x) = \argmin_s \sum_i |x_i - s|^2$

$\mu$ $\mu$

Hurley, WJ (2009) Indukcyjne podejście do obliczania MLE dla podwójnego rozkładu wykładniczego . Dziennik nowoczesnych stosowanych metod statystycznych: 8 ust. 2, art. 25.

Tim
źródło

Być może nie jest to najbardziej rygorystyczna matematycznie odpowiedź podana tutaj, ale jest zdecydowanie najłatwiejsza, najbardziej intuicyjna dla początkujących w regularyzacji L1 / L2.

SQLServerSteve

8

$k$

min_{β} (y - X β)^{'} (y - X β)

$\min_{\beta} (y - X \beta)' (y - X \beta)$

W regresji regulowanej z karą robisz $L^p$

min_{β} (y - X β)^{'} (y - X β) + λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\min_{\beta} (y - X \beta)' (y - X \beta) + \lambda \sum_{i=1}^k |\beta_i|^p$

Równie dobrze możemy to zrobić (zwróć uwagę na zmiany znaku)

max_{β} - (y - X β)^{'} (y - X β) - λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\max_{\beta} -(y - X \beta)' (y - X \beta) - \lambda \sum_{i=1}^k |\beta_i|^p$

Odnosi się to bezpośrednio do bayesowskiej zasady

p o s t e r i o r \propto l i k e l i h o o d \times p r i o r

$posterior \propto likelihood \times prior$

lub równoważnie (w warunkach prawidłowości)

l o g (p o s t e r i o r) \sim l o g (l i k e l i h o o d) + l o g (p e n a l t y)

$log(posterior) \sim log(likelihood) + log(penalty)$

Teraz nietrudno zobaczyć, która wykładnicza dystrybucja rodziny odpowiada danemu typowi kary.

Georg M. Goerg
źródło

3

Dokładniej mówiąc, równoważność:

Optymalizacja wag modelu w celu zminimalizowania kwadratowej funkcji utraty błędów z regularyzacją L2 jest równoważna znalezieniu wag, które są najprawdopodobniej w rozkładzie bocznym ocenianym za pomocą reguły Bayesa, z zerową średnią niezależną wagą Gaussa przed

Dowód:

Funkcja straty opisana powyżej zostałaby podana przez

L = \underset{O r i g i n a l l o s s f u n c t i o n}{\underset{⏟}{[\sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2}]}} + \underset{L_{2} l o s s}{\underset{⏟}{λ \sum_{i = 1}^{K} w_{i}^{2}}}

$L = \underbrace{\Big[ \sum_{n=1}^{N} (y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)}))^{2} \Big] }_{Original \; loss \; function} + \underbrace{\lambda \sum_{i=1}^{K} w_{i}^{2}}_{L_{2} \; loss}$

Zauważ, że rozkład dla wielowymiarowego Gaussa to

N (x; μ, Σ) = \frac{1}{(2 π)^{D / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))

$\mathcal{N}(\mathbf{x}; \mathbf{\mu}, \Sigma) = \frac{1}{(2 \pi)^{D/2}|\Sigma|^{1/2}} \exp\Big(-\frac{1}{2} (\mathbf{x} -\mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} -\mathbf{\mu})\Big)$

Stosując zasadę Bayesa, mamy to

\begin{aligned} p (w | D) & = \frac{p (D | w) p (w)}{p (D)} \\ \propto p (D | w) p (w) \\ \propto [\prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] N (w; 0, σ_{w}^{2} I) \\ \propto \prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2}) \prod_{i = 1}^{K} N (w_{i}; 0, σ_{w}^{2}) \end{aligned}

$\begin{split} p(\mathbf{w}|\mathcal{D}) &= \frac{p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})}{p(\mathcal{D})}\newline &\propto p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})\newline &\propto \Big[ \prod_{n}^{N} \mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2})\Big] \; \mathcal{N}(\mathbf{w}; \mathbf{0}, \sigma_{\mathbf{w}}^{2} \mathbb{I})\newline &\propto \prod_{n}^{N} \mathcal{N}(y^{(n)};f_{\mathbf{w}}(\mathbf{x}^{(n)}) , \sigma_{y}^{2}) \prod_{i=1}^{K} \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \newline \end{split}$

Gdzie jesteśmy w stanie podzielić wielowymiarowego Guassiana na produkt, ponieważ kowariancja jest wielokrotnością macierzy tożsamości.

Weź ujemne prawdopodobieństwo dziennika start

\begin{aligned} - \log [p (w | D)] & = - \sum_{n = 1}^{N} \log [N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] - \sum_{i = 1}^{K} \log [N (w_{i}; 0, σ_{w}^{2})] + c o n s t . \\ = \frac{1}{2 σ_{y}^{2}} \sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2} + \frac{1}{2 σ_{w}^{2}} \sum_{i = 1}^{K} w_{i}^{2} + c o n s t . \end{aligned}

$\begin{split} -\log \big[p(\mathbf{w}|\mathcal{D}) \big] &= -\sum_{n=1}^{N} \log \big[\mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2}) \big] - \sum_{i=1}^{K} \log \big[ \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \big] + const. \newline &= \frac{1}{2\sigma_{y}^{2}} \sum_{n=1}^{N} \big(y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)})\big)^{2} + \frac{1}{2\sigma_{\mathbf{w}}^{2}} \sum_{i=1}^{K} w_{i}^{2} + const. \newline \end{split}$

Możemy oczywiście upuścić stałą i pomnożyć przez dowolną kwotę bez zasadniczego wpływu na funkcję straty. (stała nic nie robi, mnożenie skutecznie skaluje szybkość uczenia się. Nie wpłynie na lokalizację minimów). Widzimy więc, że prawdopodobieństwo logarytmu ujemnego rozkładu tylnego jest funkcją straty równoważnej do funkcji straty błędu kwadratowego znormalizowanego L2.

Ta równoważność jest ogólna i dotyczy dowolnej sparametryzowanej funkcji wag - nie tylko regresji liniowej, jak się wydaje powyżej.

nikiel37
źródło

1

Podczas omawiania równoważności niektórych karanych oszacowań maksymalnego prawdopodobieństwa i procedur bayesowskich należy podkreślić dwie cechy modelowania bayesowskiego.

W ramach bayesowskiej przeor wybierany jest na podstawie specyfiki problemu i nie jest motywowany celowością obliczeniową. Dlatego Bayesianie używają różnych priorów, w tym popularnej obecnie podkowy do rzadkich problemów z predyktorami, i nie muszą polegać tak bardzo na priory, które są równoważne z karami L1 lub L2.
Dzięki pełnemu podejściu bayesowskiemu masz dostęp do wszystkich procedur wnioskowania po zakończeniu. Na przykład możesz skwantyfikować dowody na duże współczynniki regresji i uzyskać wiarygodne przedziały na współczynniki regresji i ogólne przewidywane wartości. W frakcjonistycznych ramach, gdy wybierzesz karę, tracisz całą maszynę wnioskowania.

Frank Harrell
źródło

Regularyzacja L2 jest równoważna z Prior Gaussa

Odpowiedzi: