Jaki jest związek między regularyzacją a metodą mnożników Lagrange'a?

Aby zapobiec nadmiernemu dopasowywaniu się ludzi, dodaj funkcję regularyzacji (proporcjonalną do kwadratowej sumy parametrów modelu) z parametrem regularyzacji do funkcji kosztu regresji liniowej. Czy ten parametr taki sam jak mnożnik lagrange'a? Czy zatem regularyzacja jest taka sama jak metoda mnożnika lagrange'a? Lub w jaki sposób te metody są połączone? $\lambda$$\lambda$

Powiedzmy, że optymalizujemy model o parametrach , minimalizując niektóre kryterium zastrzeżeniem ograniczenia wielkości wektora parametru (na przykład w celu wdrożenia strukturalnego podejścia do minimalizacji ryzyka poprzez konstruując zagnieżdżony zestaw modeli o coraz większej złożoności), musielibyśmy rozwiązać: f( → θ$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Lagrangianem tego problemu jest (zastrzeżenie: Myślę, że to był długi dzień ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Można więc łatwo zauważyć, że funkcja kosztów regularyzowanych jest ściśle związana z ograniczonym problemem optymalizacji, przy czym parametr jest powiązany ze stałą rządzącą ograniczeniem ( ), i jest zasadniczo mnożnikiem Lagrange'a. $\lambda$$C$

To pokazuje, dlaczego np. Regresja kalenicy wdraża strukturalne minimalizowanie ryzyka: regularyzacja jest równoważna nałożeniu ograniczenia na wielkość wektora ciężaru, a jeśli to każdy model, który można wykonać, przestrzegając ograniczenia, które$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

będą również dostępne pod ograniczeniem

$\|\vec{\theta}\|^2 < C_1$ .

Stąd redukcja generuje sekwencję przestrzeni hipotez o rosnącej złożoności.$\lambda$