Jest to małe pytanie koncepcyjne, które dręczy mnie od dłuższego czasu: Jak możemy propagować wstecz przez warstwę max-pooling w sieci neuronowej? Natknąłem się na warstwy o maksymalnej puli podczas omawiania tego samouczka dla biblioteki nn Torch 7. Biblioteka streszcza obliczenia gradientu i...
Od jakiegoś czasu korzystam z sieci neuronowych. Jednak jedną rzeczą, z którą ciągle mam problemy, jest wybór optymalizatora do szkolenia sieci (przy użyciu backprop). To, co zwykle robię, to zaczynam od jednego (np. Standardowego SGD), a następnie wypróbowuję inne dość losowo. Zastanawiałem się,...
Mam pewne trudności w uzyskaniu wstecznej propagacji za pomocą ReLU i wykonałem trochę pracy, ale nie jestem pewien, czy jestem na dobrej drodze. Funkcja kosztu: gdzie jest wartością rzeczywistą, a jest wartością przewidywaną. Zakładamy również, że > 0 zawsze.Y Y...
Mam następujący CNN: Zaczynam od obrazu wejściowego o rozmiarze 5x5 Następnie stosuję splot za pomocą jądra 2x2 i stride = 1, który tworzy mapę cech o rozmiarze 4x4. Następnie stosuję maksymalne łączenie 2x2 z krokiem = 2, co zmniejsza mapę obiektów do rozmiaru 2x2. Następnie stosuję sigmoid...
Czy zmieści się mój LSTM, jeśli będę go trenował przy użyciu okna przesuwnego? Dlaczego ludzie nie używają go do LSTM? W uproszczonym przykładzie załóżmy, że musimy przewidzieć kolejność znaków: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z Czy to źle (czy lepiej?), Jeśli nadal trenuję...
Mam małe pytanie cząstkowe do tego pytania . Rozumiem, że podczas wstecznej propagacji przez warstwę maksymalnej puli gradient jest kierowany z powrotem w taki sposób, że neuron w poprzedniej warstwie, która została wybrana jako maksymalna, otrzymuje cały gradient. Nie jestem w 100% pewien, w jaki...
Próbuję dowiedzieć się, ile wag i stronniczości jest potrzebnych dla CNN. Powiedz, że mam obraz (3, 32, 32) i chcę zastosować filtr (32, 5, 5). Dla każdej mapy obiektów mam wagi 5 x 5, więc powinienem mieć parametry 3 x (5 x 5) x 32. Teraz muszę dodać błąd. Wydaje mi się, że mam tylko (3 x (5x5) +...