Jakie problemy wymagają więcej niż 2 ukrytych warstw?

Czytałem, że większość problemów można rozwiązać za pomocą 1-2 ukrytych warstw.

Skąd wiesz, że potrzebujesz więcej niż 2? Do jakich problemów byś ich potrzebował (daj mi przykład)?

Formalnie pojedyncza ukryta warstwa wystarcza do przybliżenia funkcji ciągłej do dowolnego pożądanego stopnia dokładności, więc w tym sensie nigdy nie potrzebujesz więcej niż 1. Jest to tak zwane uniwersalne twierdzenie o aproksymacji .

Znalezienie najlepszej topologii dla danego problemu jest otwartym problemem badawczym. O ile mi wiadomo, istnieje kilka uniwersalnych „zasad praktycznych” w tym zakresie.

W przypadku danego problemu jedną z opcji jest zastosowanie podejścia neuroewolucyjnego, takiego jak NEAT , które próbuje znaleźć topologię, która dobrze pasuje do danego problemu.