Co oznaczają podwójne słupki i 2 na dole zwykłych najmniejszych kwadratów?

10

Widziałem ten zapis dla zwykłych najmniejszych kwadratów tutaj .

minwXwy22)

Nigdy nie widziałem podwójnych pasków i 2 na dole. Co oznaczają te symbole? Czy mają dla nich określoną terminologię?

Aseem Bansal
źródło
5
Zastosowanie podwójnych słupków wskazuje tylko, że stosujemy normę L2.
Michael R. Chernick
@MichaelChernick and the 2? Czy to część „normy L2”?
Aseem Bansal,
1
Tak, podobnie jak L2, istnieje również L1.
Jon
Myślę, że Xw powinno być Xw ponieważ w jest wektorem
ilanman
@ilanman Tak, to było to, co było w notacji przed edycją. Zmieniłem to z powrotem
Aseem Bansal

Odpowiedzi:

29

Mówisz o -norm (normie euklidesowej) wektora ( ). Jeśli to dla ciebie obce, krótko -norm wektora , to: X w - y p u R n2XwypuRn

up=(i=1n|ui|p)1p

Więc w twoim przypadku co jest zgodne z sumą kwadratów reszt dla regresji liniowej. W kontekście problemów z regresją widać to również często w obliczeniach błędu średniego kwadratu (MSE) i regresji grzbietu .u22=((i=1n|ui|2)12)2=i=1nui2

Jest to powszechna norma (między innymi jest matematycznie wygodna), więc gdy będzie to oczywiste z kontekstu, zobaczysz dolne pominięte i po prostu .u 22u2

Jak wspomniano w komentarzach, możesz także zobaczyć -norm:1

u1=i=1n|ui|

Co odpowiada wartości bezwzględnej. Znów zobaczysz to w średnich błędach bezwzględnych (MAE) lub problemach Lasso .

Inne popularne normy:

  • 10 -norm: odległość Hamminga lub liczba niezerowych w wektorze, tj. przy obliczaniu rzadkości wektora. Technicznie rzecz biorąc, nie jest to norma (jest to funkcja liczności), ponieważ masz definicję , ale ma ona postać normy, więc nazywamy ją jedną. 10
    • Ta norma jest idealną normą używaną do indukowania rzadkości dla problemów regresji, ponieważ naprawdę chcemy wyzerować współczynniki, jednak obliczanie regularności jest trudne dla NP, więc zamiast tego przybliżamy ją do który można rozwiązać za pomocą programowania liniowego. Jest również popularny w Compressed Sensing .101
  • max i { | x i | } I = 1 , . . . , n -norm: = underset dlamaxi {|xi|}i=1,...,n
  • AF : Norma Frobeniusa (euklidesowa), zastosowana do macierzyARn×m=i=1nj=1m|aij|2)
ilanman
źródło
2
Link do wolfram alpha był bardzo pomocny.
Aseem Bansal,
Piszesz, że liczy (pseudo) norma liczba zer w wektorze-ty może oznaczać liczbę non -ZERO wpisy? (Byłoby to bardziej zgodne z tym, co widziałem, a także oznaczałoby, że byłby odległością Hamminga między a , w przeciwieństwie do byciau 0 u 0 R n n0u0u0Rnn minus to dystans.)
wchargin
1
Błąd ortograficzny: „Frobenius”.
hobbs
1
Zamiast „jest to powszechna norma” powiedziałbym tylko, że „L2 jest normą”;)
user541686