Jeśli masz pół strony do wyjaśnienia rezygnacji , jak byś postępował? Jakie jest uzasadnienie tej
Jestem nowy w Recurrent Neural Networks (RNN) i wciąż uczę się pojęć. Rozumiem na poziomie abstrakcyjnym, że Echo State Network (ESN) jest w stanie (ponownie) wytwarzać sekwencję sygnałów wejściowych, tj. Sygnał, nawet po ich usunięciu. Jednak artykuł Scholarpedia był dla mnie zbyt trudny do...
Przeglądam następujący blog na sieci neuronowej LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Autor przekształca wektor wejściowy X jako [próbki, przedziały czasowe, cechy] dla różnych konfiguracji LSTM. Autor pisze Rzeczywiście,...
Tensorflow ma przykładowy samouczek na temat klasyfikowania CIFAR-10 . W samouczku średnia utrata entropii krzyżowej w partii jest zminimalizowana. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from...
Potrzebuję zasobów, aby zacząć korzystać z sieci neuronowych do prognozowania szeregów czasowych. Obawiam się zaimplementowania jakiejś pracy, a następnie stwierdzenia, że znacznie przekroczyły potencjał swoich metod. Więc jeśli masz doświadczenie z metodami, które sugerujesz, będzie to jeszcze...
Natknąłem się na kilka podstawowych sposobów pomiaru złożoności sieci neuronowych: Naiwne i nieformalne: policz liczbę neuronów, ukrytych neuronów, warstw lub ukrytych warstw Wymiar VC (Eduardo D. Sontag [1998] „Wymiar VC sieci neuronowych” [ pdf ].) Miara złożonejT.do0reT.dore0TC^0_d i...
Jaka jest pochodna funkcji aktywacji ReLU zdefiniowana jako: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Co ze szczególnym przypadkiem, w którym występuje nieciągłość funkcji przy
W literaturze dotyczącej sieci neuronowych często spotykamy słowo „tensor”. Czy różni się od wektora? A z matrycy? Czy masz jakiś konkretny przykład, który wyjaśnia jego definicję? Jestem trochę zdezorientowany co do jego definicji. Wikipedia nie pomaga i czasami mam wrażenie, że jej definicja...
Studiuję splotowe sieci neuronowe (CNN) ze względu na ich zastosowania w wizji komputerowej. Znam już standardowe sieci neuronowe typu feed-forward, więc mam nadzieję, że niektórzy ludzie tutaj pomogą mi zrobić dodatkowy krok w zrozumieniu CNN. Oto, co myślę o CNN: W tradycyjnych NN z feed-feedem...
Uczę sieci neuronowej przy użyciu i) SGD i ii) Adam Optimizer. Korzystając z normalnego SGD, uzyskuję płynną krzywą utraty treningu w porównaniu z krzywą iteracji, jak pokazano poniżej (czerwona). Kiedy jednak użyłem Optymalizatora Adama, krzywa utraty treningu ma pewne skoki. Jakie jest...
Ucząc się splotowej sieci neuronowej, mam pytania dotyczące poniższego rysunku. 1) C1 w warstwie 1 ma 6 map obiektów, czy to oznacza, że istnieje sześć zwojów splotowych? Każde jądro splotowe służy do generowania mapy obiektów na podstawie danych wejściowych. 2) S1 w warstwie 2 ma 6 map...
Z góry przepraszam za to, że wciąż przyspieszam. Próbuję zrozumieć zalety i wady używania tanh (mapa -1 do 1) vs. sigmoid (mapa 0 do 1) dla mojej funkcji aktywacji neuronu. Z mojego czytania zabrzmiało to jak drobna rzecz z marginalnymi różnicami. W praktyce dla moich problemów uważam, że sigmoid...
Próbuję zrozumieć funkcję utraty Yolo v2: λc o o r d∑i = 0S.2)∑j = 0b1o b jI j[ ( xja- x^ja)2)+ ( yja- y^ja)2)]+ λc o o r d∑i = 0S.2)∑j = 0b1o b jI j[ ( wja--√- w^ja--√)2)+ ( godzja--√- h^ja--√)2)]+ ∑i = 0S.2)∑j = 0b1o b jI j( Cja- C^ja)2)+ λn o o b j∑i = 0S.2)∑j = 0b1n o o b jI j( Cja- C^ja)2)+...
Próbuję zrozumieć kontekst słynnej książki Minsky and Papert „Perceptrons” z 1969 roku, tak krytycznej dla sieci neuronowych. O ile mi wiadomo, nie było jeszcze innych ogólnych algorytmów uczenia nadzorowanego, z wyjątkiem perceptronu: drzewa decyzyjne zaczęły być naprawdę przydatne dopiero pod...
To kwestia terminologii. Czasami widzę, że ludzie określają głębokie sieci neuronowe jako „wielowarstwowe perceptrony”, dlaczego tak jest? Nauczono mnie, że perceptron to klasyfikator jednowarstwowy (lub regresor) z wyjściowym progiem binarnym, wykorzystujący określony sposób szkolenia wag (nie z...
Podczas mini-serii treningu sieci neuronowej usłyszałem, że ważną praktyką jest tasowanie danych treningowych przed każdą epoką. Czy ktoś może wyjaśnić, dlaczego pomieszanie w każdej epoce pomaga? W wyszukiwarce Google znalazłem następujące odpowiedzi: pomaga szybko zbiegać się...
Czytałem o optymalizatorze Adama do głębokiego uczenia się i natknąłem się na następujące zdanie w nowej książce Głębokie uczenie się autorstwa Begnio, Goodfellow i Courtville: Adam wprowadza korekty błędu wstępnego w szacunkach zarówno momentów pierwszego rzędu (okres pędu), jak i...
Zgodnie z tym samouczkiem na temat głębokiego uczenia się , odchudzanie (regularyzacja) zwykle nie jest stosowane do terminów stronniczości b dlaczego? Jakie jest za tym znaczenie
Zbudowałem kilka sieci neuronowych (MLP (w pełni połączony), Elman (cykliczny)) do różnych zadań, takich jak gra w Pong, klasyfikowanie odręcznych cyfr i tym podobne ... Dodatkowo próbowałem zbudować pierwsze sieci neuronowe splotowe, np. Do klasyfikowania wielocyfrowych notatek odręcznych, ale...
W podstawowym uczeniu maszynowym uczymy się następujących „praktycznych zasad”: a) rozmiar twoich danych powinien być co najmniej 10 razy większy niż rozmiar VC twojego zestawu hipotez. b) sieć neuronowa z połączeniami N ma wymiar VC około N. Kiedy więc sieć neuronowa dogłębnie ucząca się mówi,...