Moc obliczeniowa sieci neuronowych?

Powiedzmy, że mamy jednowarstwową sieć neuronową z przekazywaniem danych z k wejściami i jednym wyjściem. Oblicza funkcję z , dość łatwo zauważyć, że ma ona co najmniej taką samą moc obliczeniową jak . Dla zabawy nazwiemy zestaw funkcji obliczalnych przez jednowarstwową sieć neuronową „ ”. $\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace$ $AC^0$ $Neural$

Wydaje się jednak, że może mieć większą moc obliczeniową niż sam . $AC^0$

Więc ... czy czy ? Czy badano też wcześniej tego rodzaju klasę złożoności? $AC^0 \subseteq Neural$ $Neural = AC^0$

cc.complexity-theory circuit-complexity machine-learning ne.neural-evol Gabgoh
źródło

Uwaga na temat terminologii - ważną informacją jest liczba ukrytych warstw. Sieć neuronowa z zerową warstwą ukrytą z jednym wyjściem jest po prostu liniową funkcją progową i często (myląco) nazywana jest jedną lub dwiema warstwami sieci neuronowej / perceptronem, w zależności od tego, czy wejścia / wyjścia są uważane za warstwy. Również w literaturze AI sieci neuronowe są zazwyczaj definiowane w kategoriach funkcji sigmoidalnych, co oznacza, że wejścia / wyjścia są naprawdę wartościowane. Wiadomo, że jedna sieć ukrytych warstw jest uniwersalnym aproksymatorem w tym sensie, że dowolną funkcję ciągłą można dowolnie zbliżyć

Jarosław Bułatow

Moc obliczeniowa sieci neuronowych?

Odpowiedzi: