Pytania oznaczone «batch-normalization»

Papier: jaka jest różnica między normalizacją warstw, normalizacją okresowej partii (2016) i normalizacją partii RNN (2015)?

Tak więc ostatnio jest papier do normalizacji warstw . Istnieje również jego implementacja w Keras. Ale pamiętam, że są artykuły zatytułowane Recurrent Batch Normalization (Cooijmans, 2016) i Batch Normalized Recurrent Neural Networks (Laurent, 2015). Jaka jest różnica między tymi...

Czy normalizacja partii oznacza, że ​​sigmoidy działają lepiej niż ReLU?

Normalizacja partii i ReLU są rozwiązaniami problemu znikającego gradientu. Jeśli używamy normalizacji wsadowej, czy powinniśmy używać sigmoidów? A może istnieją funkcje ReLU, które sprawiają, że są one opłacalne nawet podczas korzystania z batchnorm? Przypuszczam, że normalizacja przeprowadzona w...