Uczę sieci neuronowej przy użyciu i) SGD i ii) Adam Optimizer. Korzystając z normalnego SGD, uzyskuję płynną krzywą utraty treningu w porównaniu z krzywą iteracji, jak pokazano poniżej (czerwona). Kiedy jednak użyłem Optymalizatora Adama, krzywa utraty treningu ma pewne skoki. Jakie jest...
Tło: Wydaje się, że wiele współczesnych badań w ciągu ostatnich 4 lat (post Alexxnet ) zrezygnowało z generatywnego wstępnego szkolenia sieci neuronowych w celu osiągnięcia najnowszych wyników klasyfikacji. Na przykład, najlepsze wyniki dla mnistera tutaj obejmują tylko 2 artykuły z 50...
Zagłębiając się w literaturę o sieciach neuronowych , identyfikujemy inne metody z topologiami neuromorficznymi (architektury podobne do „sieci neuronowej”). I nie mówię o uniwersalnym twierdzeniu o aproksymacji . Przykłady podano poniżej. Zastanawiam się: jaka jest definicja sztucznej sieci...
Jeśli mam splotową sieć neuronową (CNN), która ma około 1 000 000 parametrów, ile danych treningowych jest potrzebnych (zakładam, że wykonuję stochastyczne obniżanie gradientu)? Czy jest jakaś reguła? Dodatkowe uwagi: Kiedy wykonałem stochastyczne opadanie gradientu (np. 64 łaty na 1 iterację), po...
Dużo czytałem o splotowych sieciach neuronowych i zastanawiałem się, w jaki sposób unikają problemu znikającego gradientu. Wiem, że sieci głębokiego przekonania stosują auto-kodery jednopoziomowe lub inne wstępnie wyszkolone płytkie sieci, dzięki czemu mogę uniknąć tego problemu, ale nie wiem, jak...
http://www.deeplearningbook.org/contents/ml.html Strona 116 wyjaśnia błąd Bayesa jak poniżej Idealny model to wyrocznia, która po prostu zna prawdziwy rozkład prawdopodobieństwa, który generuje dane. Nawet taki model nadal będzie powodował błąd w wielu problemach, ponieważ może nadal występować...
W podstawowym uczeniu maszynowym uczymy się następujących „praktycznych zasad”: a) rozmiar twoich danych powinien być co najmniej 10 razy większy niż rozmiar VC twojego zestawu hipotez. b) sieć neuronowa z połączeniami N ma wymiar VC około N. Kiedy więc sieć neuronowa dogłębnie ucząca się mówi,...
Zastanawiam się nad użyciem wersji LSTM ( długoterminowej pamięci krótkotrwałej ) rekurencyjnej sieci neuronowej (RNN) do modelowania danych szeregów czasowych. Wraz ze wzrostem długości sekwencji danych wzrasta złożoność sieci. Jestem zatem ciekawy, jaką długość sekwencji można by modelować z...
Nie znalazłem zadowalającej odpowiedzi na to w Google . Oczywiście, jeśli dane, które mam, są rzędu milionów, to głębokie uczenie się jest drogą. Przeczytałem, że kiedy nie mam dużych zbiorów danych, może lepiej jest zastosować inne metody uczenia maszynowego. Podany powód jest nadmierny. Uczenie...
Próbuję nauczyć się korzystać z sieci neuronowych. Czytałem ten samouczek . Po dopasowaniu sieci neuronowej do szeregu czasowego przy użyciu wartości aby przewidzieć wartość przy autor otrzymuje następujący wykres, w którym niebieska linia to szereg czasowy, zielony to prognoza danych pociągu,...
Studiuję ten samouczek na temat Autoencoderów wariacyjnych autorstwa Carla Doerscha . Na drugiej stronie znajduje się: Jednym z najpopularniejszych takich frameworków jest AutoCoder wariacyjny [1, 3], będący przedmiotem tego samouczka. Założenia tego modelu są słabe, a trening jest szybki dzięki...
W którym momencie zaczynamy klasyfikować wielowarstwowe sieci neuronowe jako głębokie sieci neuronowe, czy inaczej: „Jaka jest minimalna liczba warstw w głębokiej sieci
Szukam projektu optycznego rozpoznawania znaków (OCR). Po przeprowadzeniu badań natrafiłem na architekturę, która wydaje się interesująca: CNN + RNN + CTC. Znam zwinięte sieci neuronowe (CNN) i rekurencyjne sieci neuronowe (RNN), ale czym jest klasyfikacja czasowa łącznika (CTC)? Chciałbym...
Powiedzmy, że piszę algorytm do budowy 2-warstwowego stosu samochodowego i 2-warstwowej sieci neuronowej. Czy są to te same rzeczy czy różnica? Rozumiem, że kiedy buduję autoencoder skumulowany, budowałem warstwa po warstwie. W przypadku sieci neuronowej zainicjowałbym wszystkie parametry w sieci,...
Jak trenuje się warstwę osadzania w warstwie osadzania Keras? (powiedzmy, używając backendu tensorflow, co oznacza, że jest podobny do word2vec, glove lub fasttext) Załóżmy, że nie stosujemy wstępnego
Mam zestaw danych zawierający 34 kolumny wejściowe i 8 kolumn wyjściowych. Jednym ze sposobów rozwiązania tego problemu jest pobranie 34 danych wejściowych i zbudowanie indywidualnego modelu regresji dla każdej kolumny wyjściowej. Zastanawiam się, czy ten problem można rozwiązać za pomocą tylko...
Wszystkie przykłady, które znalazłem przy użyciu głębokiej wiary lub splotowych sieci neuronowych, wykorzystują je do klasyfikacji obrazu, wykrywania czatu lub rozpoznawania mowy. Czy głębokie sieci neuronowe są również przydatne w przypadku klasycznych zadań regresyjnych, w których cechy nie są...
Odnosi się to do artykułu Efektywna lokalizacja obiektu za pomocą sieci konwergentnych i z tego, co rozumiem, rezygnacja jest realizowana w 2D. Po odczytaniu kodu z Keras o tym, jak zaimplementowano Upadek przestrzenny 2D, w zasadzie implementowana jest losowa binarna maska kształtu [batch_size,...
Literatura dogłębnego uczenia się jest pełna sprytnych sztuczek z wykorzystaniem niestałych wskaźników uczenia się przy opadaniu gradientowym. Rzeczy takie jak rozkład wykładniczy, RMSprop, Adagrad itp. Są łatwe do wdrożenia i są dostępne w każdym pakiecie dogłębnego uczenia się, ale wydają się nie...
Zwłaszcza w kontekście zawodów kaggle zauważyłem, że wydajność modelu polega na wyborze / inżynierii funkcji. Chociaż w pełni rozumiem, dlaczego tak jest w przypadku bardziej konwencjonalnych / oldskulowych algorytmów ML, nie rozumiem, dlaczego tak jest w przypadku korzystania z głębokich sieci...