W nawracającej sieci neuronowej zwykle propagujesz w przód przez kilka kroków czasowych, „rozwijasz” sieć, a następnie w tył propagujesz w sekwencji danych wejściowych. Dlaczego po prostu nie aktualizowałbyś wag po każdym indywidualnym kroku w sekwencji? (odpowiednik użycia długości obcięcia 1,...
Próbuję zrozumieć słynny artykuł „Playing Atari with Deep Reinforcement Learning” ( pdf ). Nie jestem pewien, jaka jest różnica między epoką a epizodem . W algorytmie zewnętrzna pętla kończy się epizodami , natomiast na rysunku oś x jest oznaczona epoką . W kontekście uczenia się przez wzmacnianie...
Widziałem termin „niezmiennicza permutacja” wersja zadania rozpoznawania cyfr MNIST. Co to
Wdrożyłem Q-Learning zgodnie z opisem w http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf W celu ok. Q (S, A) Używam struktury sieci neuronowej, jak poniżej, Aktywacja Sigmoid Wejścia, liczba wejść + 1 dla neuronów akcji (wszystkie wejścia skalowane 0-1) Wyjścia,...
Powiedzmy, że piszę algorytm do budowy 2-warstwowego stosu samochodowego i 2-warstwowej sieci neuronowej. Czy są to te same rzeczy czy różnica? Rozumiem, że kiedy buduję autoencoder skumulowany, budowałem warstwa po warstwie. W przypadku sieci neuronowej zainicjowałbym wszystkie parametry w sieci,...
Czy są jakieś dobre powody, aby preferować wartości binarne (0/1) zamiast dyskretnych lub ciągłych wartości znormalizowanych , np. (1; 3), jako dane wejściowe dla sieci sprzężenia zwrotnego dla wszystkich węzłów wejściowych (z propagacją wsteczną lub bez)? Oczywiście mówię tylko o danych...
Pytanie: czy można wytrenować NN, aby rozróżniał liczby nieparzyste od parzystych tylko przy użyciu samych danych wejściowych? Mam następujący zestaw danych: Number Target 1 0 2 1 3 0 4 1 5 0 6 1 ... ... 99 0 100 1 Trenowałem NN z dwoma neuronami wejściowymi (jeden jest zmienną liczbą, drugi...
Mam zestaw danych zawierający 34 kolumny wejściowe i 8 kolumn wyjściowych. Jednym ze sposobów rozwiązania tego problemu jest pobranie 34 danych wejściowych i zbudowanie indywidualnego modelu regresji dla każdej kolumny wyjściowej. Zastanawiam się, czy ten problem można rozwiązać za pomocą tylko...
Twierdzenie o uniwersalnej aproksymacji jest dość znanym wynikiem dla sieci neuronowych, mówiąc w zasadzie, że przy niektórych założeniach funkcja może być jednolicie aproksymowana przez sieć neuronową z dowolną dokładnością. Czy istnieje jakiś analogiczny wynik, który stosuje się do splotowych...
Szukałem w Google, Wikipedii, Google Scholar i innych, ale nie mogłem znaleźć źródła Autoencoderów. Być może jest to jedna z tych koncepcji, które ewoluowały bardzo stopniowo i nie można prześledzić wyraźnego punktu wyjścia, ale nadal chciałbym znaleźć jakieś podsumowanie głównych etapów ich...
Wszystkie przykłady, które znalazłem przy użyciu głębokiej wiary lub splotowych sieci neuronowych, wykorzystują je do klasyfikacji obrazu, wykrywania czatu lub rozpoznawania mowy. Czy głębokie sieci neuronowe są również przydatne w przypadku klasycznych zadań regresyjnych, w których cechy nie są...
Wydaje się, że istnieje wiele zamieszania w porównaniu używania glmnetwewnątrz w caretcelu znalezienia optymalnej lambdy i korzystania cv.glmnetz tego samego zadania. Zadano wiele pytań, np .: Model klasyfikacji train.glmnet vs. cv.glmnet? Jaki jest właściwy sposób używania glmnet z...
Struktura tego pytania jest następująca: najpierw przedstawiam koncepcję uczenia się w zespole , następnie dostarczam listę zadań rozpoznawania wzorców , następnie podaję przykłady algorytmów uczenia się w zespole, a na koniec przedstawiam moje pytanie. Ci, którzy nie potrzebują wszystkich...
W niektórych samouczkach stwierdziłem, że inicjalizacja wagi „Xaviera” (papier: Zrozumienie trudności w uczeniu głębokich sieci neuronowych ze sprzężeniem zwrotnym ) jest skutecznym sposobem inicjalizacji wag sieci neuronowych. W przypadku w pełni połączonych warstw w tych samouczkach obowiązywała...
W splotowych sieciach neuronowych (CNN) matryca wag na każdym kroku zostaje odwrócona w celu uzyskania macierzy jądra przed przystąpieniem do splotu. Wyjaśnia to seria filmów Hugo Larochelle tutaj : Obliczenie ukrytych map odpowiadałoby wykonaniu dyskretnego splotu z kanałem z poprzedniej...
Próbuję wytrenować sieć neuronową do klasyfikacji, ale etykiety, które mam, są raczej hałaśliwe (około 30% etykiet jest błędnych). Strata między entropią rzeczywiście działa, ale zastanawiałem się, czy są jakieś alternatywy bardziej skuteczne w tym przypadku? czy utrata przez entropię jest...
Jestem początkującym, który próbuje stworzyć swój pierwszy projekt. Miałem na myśli projekt klasyfikacji piosenek, ale ponieważ będę ręcznie etykietować, mogłem tylko rozsądnie zebrać około 1000 piosenek lub 60 godzin muzyki. Klasyfikowałbym się z kilkoma klasami, więc możliwe, że jedna klasa...
Które problemy z sekwencyjnym wejściem są najbardziej odpowiednie dla każdego? Czy wymiar wejściowy określa, które z nich jest lepsze? Czy problemy wymagające „dłuższej pamięci” lepiej pasują do RNN LSTM, podczas gdy problemy z cyklicznymi wzorcami wprowadzania danych (giełda, pogoda) są łatwiejsze...
Mam podstawową wiedzę na temat działania RNN (a zwłaszcza jednostek LSTM). Mam obrazowe wyobrażenie o architekturze jednostki LSTM, czyli komórki i kilku bramek, które regulują przepływ wartości. Jednak najwyraźniej nie do końca zrozumiałem, w jaki sposób LSTM rozwiązuje problem „znikania i...
Studiowałem architekturę syjamskiej sieci neuronowej wprowadzonej przez Yanna LeCuna i jego współpracowników w 1994 r. Do rozpoznawania podpisów ( „Weryfikacja podpisu przy użyciu sieci neuronowej z opóźnieniem czasowym syjamskim” .pdf , NIPS 1994) Zrozumiałem ogólną ideę tej architektury, ale tak...