Powiedzmy, że chcemy wykonać regresję dla prostego f = x * y
użycia standardowej głębokiej sieci neuronowej.
Pamiętam, że istnieją powtórzenia, które mówią, że NN z jedną warstwą ukrytą może apoksymować dowolną funkcję, ale próbowałem i bez normalizacji NN nie był w stanie zbliżyć nawet tego prostego mnożenia. Pomogła tylko normalizacja logów danych m = x*y => ln(m) = ln(x) + ln(y).
Ale to wygląda na oszustwo. Czy NN może to zrobić bez normalizacji logów? Odpowiedź jest oczywiście (jak dla mnie) - tak, więc pytanie brzmi bardziej, jaki powinien być typ / konfiguracja / układ takiej NN?