1) Większość sieci neuronowych nie może wykonywać multiplikacji; mogą tylko obliczyć sumy (które następnie są indywidualnie przekazywane przez funkcję aktywacji ). Zamiast tego muszą oszacować te mnożenia, jeśli są one ważne, co wymaga dużej liczby neuronów, zwłaszcza jeśli czynniki mogą obejmować duże odległości.
Jeśli okaże się, że obszar domu jest w rzeczywistości ważną funkcją, pomożesz sieci, jeśli zapewnisz mu ten obszar, ponieważ może on następnie użyć neuronów, które byłyby wymagane do oszacowania pomnożenia szerokości i długości robić inne rzeczy.
Dlatego uwzględnienie funkcji wielomianów może w niektórych przypadkach być korzystne dla sieci, ale w innych przypadkach nie ma znaczącego wpływu. Ponadto funkcje wielomianowe są tylko jednym rodzajem funkcji pochodnych, które mogą być pomocne dla sieci. Innym typem funkcji pochodnej, która może okazać się pomocna, są na przykład logarytmy zmiennych wejściowych (uważane za dodatnie), które sieć musi również oszacować, aby uzyskać.
Pomysł polegałby na umożliwieniu sieci wykonywania większej liczby operacji między liczbami niż tylko dodawaniu, aby umożliwić jej skuteczne obliczanie takich rzeczy, jak same cechy wielomianowe, ale nie jest jasne, jak to by działało. Jedną architekturą, która wygląda tak, jakby robi coś podobnego, jest sieć sum produktów .
2) Poza kosztem obliczeniowym, o którym wspomniał John, zwiększenie liczby parametrów w modelu, co jest nieuniknione, gdy wprowadzisz więcej danych wejściowych, również zwiększa ryzyko przeładowania sieci , szczególnie jeśli masz mało danych treningowych.
Można to jednak uczynić znacznie mniejszym problemem, jeśli zastosowana zostanie dobra metoda regularyzacji. (Wydaje się, że rezygnacja z tego działa bardzo dobrze) Teoretycznie, przy wystarczająco dobrej metodzie regularyzacji, nadmierne dopasowanie nie powinno stanowić żadnego problemu. Jak zauważa Hinton, człowiek ma w mózgu 10–14 synaps (odpowiadających połączeniom w sieci neuronowej), ale żyje tylko w kolejności 10–9 sekund, ale nadal wydaje się, że jesteśmy w stanie uogólniać całkiem dobrze. Jasne jest więc, że posiadanie wielu parametrów, które można dostroić, powinno być dobrym rozwiązaniem z odpowiednim algorytmem.