Co oznacza „wysoce nieliniowy”?

27

Często czytam o tym, że funkcja jest „wysoce nieliniowa”. W moim rozumieniu istnieje „liniowy” i „nieliniowy”, więc o co w tym chodzi? Czy istnieje formalna różnica od nieliniowej? Jak to jest zdefiniowane?

terminology nonlinear mathematical-statistics Toby El Tejedor
źródło

8

Nieformalnie: „Nie oczekuj, że będziesz w stanie łatwo odwzorować zmianę danych wejściowych na zmianę danych wyjściowych”.

keshlam

2

Czy czytałeś to w artykule o Deep Learning? Wysoce nieliniowe przybliżenie funkcji jest jedną z motywacji do głębokiego uczenia się, ponieważ płytka sieć ma trudności z modelowaniem tego, co Joe opisuje w swojej odpowiedzi.

Neil G

1

Powiedziałbym, że to zależy od tego, gdzie to czytasz. Jeśli jest to napisane przez osoby znające matematykę, może to oznaczać, jakie odpowiedzi udzielają tutaj (jak dotąd). Jeśli został napisany przez lekarza, takiego jak lekarz lub biolog, może to oznaczać, że związek nie jest prosty, ale bardzo zakrzywiony. Z mojego doświadczenia wynika, że większość ludzi uważa, że regresja liniowa odnosi się do dopasowania linii prostych do danych, co może być częścią źródła zamieszania.

Roman Luštrik

Nie, nie @NeilG.

Toby El Tejedor

1

To nie jest jednoznacznie zdefiniowany termin - fizyk będzie miał zupełnie inne znaczenie niż termin kryptograf. Bez większego kontekstu na to pytanie nie można poprawnie odpowiedzieć - zgadywalibyśmy kontekst (lub musielibyśmy uwzględnić każde odrębne).

Glen_b

44

Nie sądzę, żeby istniała formalna definicja. Mam wrażenie, że oznacza to po prostu, że jest nie tylko nieliniowy, ale próba modelowania go z przybliżeniem liniowym nie przyniesie rozsądnych wyników, a nawet może spowodować niestabilność metody dopasowania. Ktoś może również użyć tego, aby po prostu oznaczać, że niewielkie zmiany danych wejściowych mogą powodować sprzeczne z intuicją duże zmiany danych wyjściowych.

Wayne
źródło

2

(+1) za zaoferowanie bardzo sensownego kryterium / treści dla „wysoce nieliniowego” (to liniowe przybliżenie może pogorszyć sytuację).

Alecos Papadopoulos

16

W sensie formalnym uważam, że można powiedzieć, że druga pochodna różni się zasadniczo od zera. Gdyby 0 było „rozsądnym” przybliżeniem drugiej pochodnej w dziedzinie będącej przedmiotem zainteresowania, byłoby bliskie liniowej, ale jeśli nie, efekty nieliniowe stają się bardzo ważne do uchwycenia.

Rzadko słyszałem, aby takie terminy odnosiły się do stosunkowo prostych wielomianów, często w praktyce wydaje się, że odnoszą się do rozbieżnych układów dynamicznych (coś w rodzaju teorii chaosu) lub bardzo nieładnych funkcji (gdzie pochodne znacznie wyższego rzędu są niezerowe ).

Joe
źródło

3

Btw „gładkie” to tak naprawdę termin techniczny, co oznacza, że każda pochodna istnieje. x -> e^xjest płynna, chociaż jej pochodne wszystkich zamówień są wszędzie niezerowe :-)

Steve Jessop

10

$f(x)=x^2$

$[-10;10]$
$[-10;0]$ $[0;10]$ $f$

$f(x)=x^3-x$

$[-1;1]$
$[-10;;10]$

sds
źródło

x^{2}

$x^2$

x = [0.1, 0.2, 0.3]

$x =[0.1,0.2,0.3]$

f (x) = [0.01, 0.04, 0.09]

$f(x)=[0.01,0.04,0.09]$

3

@Aksakal: funkcja z pewnością nie jest liniowa (nigdzie), ale, jak powiedziałem, „można zastosować przybliżenie liniowe f bez natychmiastowej katastrofy”

sds

1

Każda funkcja może być aproksymowana przez linię, to tylko pytanie, jak złe jest to przybliżenie. A w x \ w [0, 0,5] błąd nie jest taki zły.

Joe

8

$y=f(x)$ $\sigma^2=var[x]$ $f(x+\sigma)\approx f(x)+f'(x)\sigma$ $f(x)=exp(x^2)$ $x$ $1+x^2+x^4/2+O(x^5)$

Aksakal
źródło

1

Nieformalnie ... „wysoce nieliniowy” oznacza „nawet ślepiec widzi, że nie jest to prosta linia!” ;) Osobiście traktuję to jako znak niebezpieczeństwa, że jakoś „wysadzi ci się w twarz”, gdy użyje się go z przykładami ze świata rzeczywistego.

Wieżę Hanoi można nazwać przykładem wysoce nieliniowej ... legenda jest taka, że kiedy mnisi zakończą stos 64 dysków, świat się skończy. Jeśli policzysz całkowity czas spędzony na szkoleniu, karmieniu, zakwaterowaniu i motywowaniu wszystkich do wspierania beznadziejnego, nudnego, bezcelowego zadania wielopokoleniowego, spodziewałbym się, że całkowity koszt w roboczogodzinach naprawdę spadnie!

iheggie
źródło

1

Jako zawodowy matematyk mogę potwierdzić, że „wysoce nieliniowy” nie jest matematycznie precyzyjnie zdefiniowanym terminem. :)

I nie mogę sobie wyobrazić żadnego „wysoce niczego”.

Nieliniowe jest dokładne i przeciwne do liniowego (oczywiście).

Ale liniowy występuje w dwóch różnych znaczeniach:

$f(x) = ax+b$
$f(x) = ax$ $b$

$(ax + b)$

Dmitri Zaitsev
źródło

1

Do tej pory to jedyna odpowiedź, zgodzę się;) (+1) za bycie oldschoolowym!

Raaja,

Co oznacza „wysoce nieliniowy”?

Odpowiedzi: