Jakie są normy i jakie mają znaczenie dla regularyzacji?

Ostatnio widziałem wiele artykułów na temat rzadkich reprezentacji, a większość z nich używa normy i dokonuje pewnych minimalizacji. Moje pytanie brzmi: co to jest norma , a norma ? A w jaki sposób mają one znaczenie dla regularyzacji?ℓ $\ell_p$$\ell_p$$\ell_{p, q}$

Dzięki

$\ell_p$ p =

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$ p = ∞ ‖ → x ‖ ∞ = sup i x i max i x i p ‖ → x ‖ $\|\vec x - \vec y\|_2$$p = \infty$$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$‖ → x ‖ $0 < p < 1$$\|\vec x\|_p$

(Istnieją również normy , które są definiowane analitycznie, z wyjątkiem funkcji zamiast wektorów lub sekwencji - tak naprawdę to samo, ponieważ wektory są funkcjami o domenach skończonych).$L_p$

Nie znam żadnego zastosowania normy w aplikacji do uczenia maszynowego, gdzie , z wyjątkiem sytuacji, gdy . Zwykle widzisz lub , lub czasami gdzie chcesz złagodzić przypadek ; nie jest ściśle wypukły w , alep = ∞ p = 2 p = 1 1 < p < 2 p = 1 ‖ → x ‖ 1 → x ‖ → x ‖ $p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$ jest dla . W niektórych przypadkach może to ułatwić znalezienie rozwiązania.$1 < p < \infty$

W kontekście regulacji, jeśli dodasz do funkcji celu, mówisz, że oczekujesz, że będzie rzadki , to znaczy składa się głównie z zer. To trochę techniczne, ale w zasadzie, jeśli istnieje→ $\|\vec x\|_1$$\vec x$ gęste rozwiązanie, prawdopodobnie istnieje rzadsze rozwiązanie z tą samą normą. Jeśli oczekujesz, że twoje rozwiązanie będzie gęste, możesz dodać do celu, ponieważ wtedy znacznie łatwiej jest pracować z jego pochodną. Oba służą do tego, aby rozwiązanie nie miało zbyt dużej wagi.$\|\vec x\|_2^2$

Mieszana norma pojawia się, gdy próbujesz zintegrować kilka źródeł. Zasadniczo chcesz, aby wektor rozwiązania składał się z kilku elementów , gdzie jest indeksem jakiegoś źródła. normą jest po prostu -norm wszystkich$\vec{x}^j$$j$$\ell_{p,q}$$q$$p$ -norms zbiera się w wektorze. Tj.

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

Celem tego nie jest „nadmierne sparsowanie” zestawu rozwiązań, powiedzmy za pomocą . Poszczególne elementy są rzadkie, ale nie ryzykujesz, że nukniesz cały wektor rozwiązania, biorąc$\|\vec x\|_{1,2}$$1$ normę ze wszystkich rozwiązań. Zamiast tego używasz norm na zewnątrz.$2$

Mam nadzieję, że to pomaga.

Zobacz ten artykuł, aby uzyskać więcej informacji.