Czy sieć neuronowa może obliczyć

W duchu słynnego żartu Fizz Buzz z Tensorflow i problemu XOr zacząłem myśleć, czy można zaprojektować sieć neuronową, która implementuje funkcję ?$y = x^2$

Biorąc pod uwagę pewną reprezentację liczby (np. Jako wektor w postaci binarnej, aby liczba 5była reprezentowana jako [1,0,1,0,0,0,0,...]), sieć neuronowa powinna nauczyć się zwracać swój kwadrat - w tym przypadku 25.

Gdybym mógł zaimplementować , prawdopodobnie mógłbym zaimplementować i ogólnie dowolny wielomian x, a następnie z szeregiem Taylora mógłbym w przybliżeniu , co rozwiązałoby problem Fizz Buzz - sieć neuronowa, która może znaleźć pozostałą część podziału.$y=x^2$$y=x^3$$y=\sin(x)$

Najwyraźniej tylko liniowa część NN nie będzie w stanie wykonać tego zadania, więc jeśli moglibyśmy wykonać mnożenie, działałoby to dzięki funkcji aktywacyjnej.

Czy możesz zasugerować jakieś pomysły lub lektury na ten temat?

Sieci neuronowe są również nazywane przybliżeniem funkcji uniwersalnej, opartym na twierdzeniu o aproksymacji funkcji uniwersalnej . Twierdzi, że:

W matematycznej teorii sztucznych sieci neuronowych uniwersalne twierdzenie aproksymacyjne stwierdza, że ​​sieć sprzężenia zwrotnego z pojedynczą ukrytą warstwą zawierającą skończoną liczbę neuronów może aproksymować funkcje ciągłe na zwartych podzbiorach Rn, przy łagodnych założeniach dotyczących funkcji aktywacji

Oznacza to, że ANN z nieliniową funkcją aktywacji może odwzorować funkcję, która wiąże wejście z wyjściem. Funkcję $y = x^2$ można łatwo aproksymować za pomocą regresji ANN.

Można znaleźć doskonałą lekcję tutaj z przykładu notebooka.

Ponadto, dzięki takiej zdolności, ANN może mapować złożone relacje, na przykład między obrazem a jego etykietami.

$f(x)=x^2$$\mathbb{R}^n$

$\mathbb{R}^n$$\mathbb{R}^n$$x$$f(x)=x^2$$\mathbb{R}$$f(x)=x^2$$x\in \mathbb{R}$

$\sin(x)$$x=0$$x\to 10000$