Norms - Co jest specjalnego w ?

normą jest unikalny (przynajmniej częściowo), ponieważ znajduje się na granicy między uwypuklony i wypukłe. normą jest „najbardziej rzadki” norma wypukły (prawda?). p = 1 L $L_1$$p=1$$L_1$

Rozumiem, że norma euklidesowa ma korzenie w geometrii i ma jasną interpretację, gdy wymiary mają te same jednostki. Ale nie rozumiem, dlaczego jest stosowany preferencyjnie w porównaniu z innymi liczbami rzeczywistymi : ? ? Dlaczego nie wykorzystać pełnego ciągłego zakresu jako hiperparametru?p > $p=2$$p>1$p = $p=1.5$$p=\pi$

czego mi brakuje?

Bardziej matematycznym wyjaśnieniem jest to, że przestrzeń , składająca się ze wszystkich szeregów zbiegających się w p-normie, to tylko Hilbert z i bez żadnej innej wartości. Oznacza to, że ta przestrzeń jest kompletna, a norma na tej przestrzeni może być indukowana przez produkt wewnętrzny (pomyśl o znanym iloczynie w ), więc jest trochę przyjemniej pracować. p = 2 R $l^p$$p=2$$R^n$

Oto kilka powodów:

1. Jest to związane w bardzo szczególny sposób z produktem wewnętrznym: jest to jego własna podwójna norma (tj. Jest „podwójna”).
   Oznacza to, że jeśli weźmie się pod uwagę wszystkie wektory wewnątrz jednostkowej , ich maksymalny iloczyn wewnętrzny z dowolnym wektorem jest normą samej . Mniej fantazyjnie spełnia właściwość, że . Żadna inna norma zachowuje się w ten sposób.$\ell_2$$z$$\ell_2$$z$$\lVert x\rVert_2^2 = x \cdot x$$\ell_p$

2. Ma bardzo dogodnie płynny gradient: Naprawdę nie możesz tego pokonać!

   $$\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$$

Chociaż może być wiele innych powodów, ale AFAIK p = 2 jest preferowany z następujących powodów:

• Miara podobieństwa / niepodobieństwa: dla p = 2 norma euklidesowa podaje miarę podobieństwa lub odmienności między dwoma wektorami, które można następnie wykorzystać do uzyskania lepszego wglądu w dane. Bardziej szczegółowe odpowiedzi na ten temat można znaleźć tutaj .
• Regularyzacja: Norma L2 jest używana do regularyzacji w uczeniu maszynowym i jest preferowana z dwóch powodów: 1) Można ją łatwo rozróżnić 2) W przypadku regularyzacji L2 wagi mają tendencję do zmniejszania się proporcjonalnie do wag. W związku z tym regularyzacja L2 penalizuje większe ciężary w porównaniu do mniejszych ciężarów.

Błędy kwadratowe w modelach liniowych są często preferowane z powodu:

• związek z ortogonalnością, który zachowuje się dobrze w odniesieniu do niektórych zjawisk losowych uważanych za hałas (nieskorelacja)
• jest wypukły i zróżnicowany, nie$L_1$
• daje sprawdzalne algorytmy optymalizacji, gdy pochodna zamienia się w układ liniowy

$L_1$ jest często uważane za wygodne zastępstwo lub wypukłe rozluźnienie do ścisłej rzadkości (liczba niezerowych terminów), co jest kombinatorycznie skomplikowane, patrz na przykład dla większości dużych nieokreślonych układów równań liniowych, minimalne rozwiązanie -normalne jest również Najrzadsze rozwiązanie$\ell_1$ . Niektórzy używają , aby wymusić większą rzadkość, kosztem „utraty” wypukłości.$\ell_p$$0<p<1$

Jednak zliczania jest niewrażliwa na skalowanie niezerowe. Pomnóż wektor przez stałą niezerową, liczba haseł niezerowych pozostanie taka sama. Zatem jest jednorodny na , podczas gdy wszystkie normy lub quasi-normy są jednorodne na poziomie . Nawet jeśli w jakiś sposób jako , ta rozbieżność wydaje mi się luką.$\ell_0$ 0 ℓ p 1 ℓ p → ℓ 0 p → $\ell_0$$0$$\ell_p$$1$$\ell_p \to \ell_0$$p\to 0$

Tak więc, zgodnie z normami, niektórzy biorą pod uwagę (nie wypukłe) stosunki norm, takie jak , zobacz na przykład odniesienia w Euclid w Taxicab: Sparse Blind Deconvolution with Smoothed Regularization .ℓ 1 / ℓ 2$\ell_1 / \ell_2$$\ell_1 / \ell_2$