Czy jest jakaś literatura, która bada wybór wielkości mini-partii podczas stochastycznego spadku gradientu? Z mojego doświadczenia wynika, że jest to wybór empiryczny, zwykle znajdowany w drodze weryfikacji krzyżowej lub przy użyciu różnych reguł. Czy dobrym pomysłem jest powolne zwiększanie...
Używam sieci lstm i feed-forward do klasyfikowania tekstu. Przekształcam tekst w pojedyncze gorące wektory i wprowadzam każdy do lstm, dzięki czemu mogę podsumować jako pojedynczą reprezentację. Następnie przesyłam go do innej sieci. Ale jak mam trenować lstm? Chcę po prostu sklasyfikować tekst -...
Czytałem książkę Yoshua Bengio o głębokim uczeniu się i na stronie 224 napisano: Sieci splotowe to po prostu sieci neuronowe, które używają splotu zamiast ogólnego mnożenia macierzy w co najmniej jednej z ich warstw. nie byłem jednak w 100% pewien, jak „zastąpić mnożenie macierzy splotem” w...
Czy możliwe jest uzyskanie ujemnych wag (po wystarczającej liczbie epok) dla głębokich splotowych sieci neuronowych, gdy używamy ReLU dla wszystkich warstw
Modeluję 15000 tweetów do prognozowania nastrojów za pomocą jednowarstwowej LSTM ze 128 ukrytymi jednostkami za pomocą reprezentacji podobnej do word2vec o 80 wymiarach. Dostaję dokładność zniżania (38% losowo = 20%) po 1 epoce. Więcej treningów powoduje, że dokładność walidacji zaczyna spadać, gdy...
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 10 miesięcy temu . Wiem, że istnieje wiele bibliotek do uczenia...
Tło: Niedawno zrozumiałem na głębszym poziomie znaczenie powiększania danych podczas szkolenia splotowych sieci neuronowych po tym znakomitym przemówieniu Geoffreya Hintona . Wyjaśnia, że splotowe sieci neuronowe obecnej generacji nie są w stanie uogólnić układu odniesienia badanego obiektu, co...
Chcę wiedzieć, co to jest i jak różni się od łączenia? Załóżmy, że chcę osiągnąć wysoką dokładność klasyfikacji i segmentacji dla konkretnego zadania, jeśli do tego celu używam różnych sieci, takich jak CNN, RNN itp., Czy jest to nazywane modelem typu end-to-end? (architektura?) czy...
Czy istnieją grupy badawcze pracujące nad wykorzystaniem głębokiego uczenia się w kombinatorycznych problemach optymalizacyjnych?
Co to jest Bayesian Deep Learning i jaki ma to związek z tradycyjnymi statystykami Bayesian i tradycyjnym Deep Learning? Jakie są główne pojęcia i matematyka? Czy mogę powiedzieć, że to tylko nieparametryczne statystyki bayesowskie? Jakie są jego przełomowe prace, a także obecne główne zmiany i...
Przeczytałem kilka artykułów na temat ręcznego tworzenia obrazów w celu „oszukania” sieci neuronowej (patrz poniżej). Czy to dlatego, że sieci modelują tylko prawdopodobieństwo warunkowe ? Jeśli sieć może modelować wspólne prawdopodobieństwo , czy takie przypadki nadal występują?p ( y , x )p (...
Ustawiam wyszukiwanie siatki dla kilku parametrów. Próbuję znaleźć najlepsze parametry dla sieci neuronowej Keras, która dokonuje klasyfikacji binarnej. Dane wyjściowe to 1 lub 0. Istnieje około 200 funkcji. Kiedy przeszukałem siatkę, dostałem kilka modeli i ich parametrów. Najlepszy model miał...
W artykule DeepMind z 2015 r. Na temat uczenia się głębokiego wzmacniania stwierdzono, że „poprzednie próby połączenia RL z sieciami neuronowymi były w dużej mierze nieudane z powodu niestabilnego uczenia się”. Następnie w artykule wymieniono niektóre przyczyny tego zjawiska, oparte na korelacjach...
Niedawno przeczytałem artykuł Yanna Dauphina i in. Identyfikowanie i atakowanie problemu punktu siodłowego w wielowymiarowej nie wypukłej optymalizacji , w której wprowadzono interesujący algorytm opadania o nazwie Saddle-Free Newton , który wydaje się być dokładnie dostosowany do optymalizacji...
Topologia modelu Google Inception można znaleźć tutaj: Google Inception Netowrk Zauważyłem, że w tym modelu znajdują się 3 warstwy softmax (# 154, # 152, # 145), a 2 z nich to pewnego rodzaju wczesna ucieczka tego modelu. Z tego, co wiem, warstwa softmax służy do ostatecznego wyjścia, więc...
Jak zakodować datę i godzinę zdarzenia dla sieci neuronowej? Nie mam ciągłych szeregów czasowych, ale niektóre wydarzenia z datą i godziną, i analizuję pewne zainteresowania. Zainteresowanie to różni się między porankami i wieczorami i różni się między dniami powszednimi oraz między latem a zimą,...
Czytałem artykuł Deep Residual Learning for Image Recognition i miałem trudności ze zrozumieniem ze 100% pewnością, co pociąga za sobą blok obliczeniowy. Czytając gazetę mają rysunek 2: co ilustruje, jaki powinien być blok rezydualny. Czy obliczenie bloku resztkowego jest po prostu takie samo...
Patrzyłem na wykłady CS231N z Stanford i staram się ominąć niektóre problemy w architekturach CNN. Próbuję zrozumieć, czy istnieją jakieś ogólne wytyczne dotyczące wybierania rozmiaru filtra splotowego i rzeczy takich jak postępy, czy też jest to bardziej sztuka niż nauka? Rozumiem, że gromadzenie...
Chcę poznać różnicę między regresją liniową w regularnej analizie uczenia maszynowego a regresją liniową w ustawieniu „głębokiego uczenia”. Jakie algorytmy są stosowane do regresji liniowej w ustawieniach głębokiego uczenia
Tło: Studiuję rozdział 6 głębokiego uczenia się autorstwa Iana Goodfellowa, Yoshui Bengio i Aarona Courville'a. W sekcji 6.2.2.2 (strony 182 z 183, które można obejrzeć tutaj ) zastosowanie sigmoid do wyjścia jest uzasadnione.P(y=1|x)P(y=1|x)P(y=1|x) Podsumowując, niektóre materiały pozwalają, by...