Czy istnieją jakieś ogólne wytyczne dotyczące miejsca umieszczania warstw odpadających w sieci
Dziecko w wieku 2 lat potrzebuje około 5 egzemplarzy samochodu, aby móc je zidentyfikować z rozsądną dokładnością niezależnie od koloru, marki itp. Gdy mój syn miał 2 lata, był w stanie zidentyfikować tramwaje i pociągi, mimo że widział tylko kilka. Ponieważ zwykle mylił się ze sobą, najwyraźniej...
Uczę sieci neuronowej, aby klasyfikować zestaw obiektów do n-klas. Każdy obiekt może należeć do wielu klas jednocześnie (wiele klas, wiele etykiet). Czytałem, że w przypadku problemów wieloklasowych ogólnie zaleca się stosowanie softmax i kategorycznej entropii krzyżowej jako funkcji straty...
Odnoszę wrażenie, że gdy ludzie odnoszą się do sieci „głębokiego przekonania”, że jest to w zasadzie sieć neuronowa, ale bardzo duża. Czy jest to poprawne, czy też sieć głębokich przekonań sugeruje również, że sam algorytm jest inny (tj. Nie ma sieci neuronowej ze sprzężeniem zwrotnym, ale może coś...
Widzę, że wiele algorytmów uczenia maszynowego działa lepiej przy średnim anulowaniu i wyrównaniu kowariancji. Na przykład sieci neuronowe mają tendencję do szybszego konwergencji, a K-Means zazwyczaj zapewnia lepszą klastrowanie z wstępnie przetworzonymi funkcjami. Nie widzę intuicji za tymi...
Jaka jest różnica między feed-forward i nawracających sieci neuronowej? Dlaczego miałbyś używać jednego nad drugim? Czy istnieją inne topologie sieci?
Znalazłem tu i tutaj dwa pytania dotyczące tego problemu, ale nie ma jeszcze oczywistej odpowiedzi ani wyjaśnienia. Wymuszam ten sam problem, w którym błąd walidacji jest mniejszy niż błąd szkolenia w mojej sieci neuronowej Convolution. Co to
Zastanawiałem się, czy są jakieś dobre biblioteki R do głębokiego uczenia sieci neuronowych? Wiem, że tam jest nnet, neuralneti RSNNS, ale żaden z nich nie wydają się wdrożyć głębokie metod nauczania. Szczególnie interesuje mnie nauka bez nadzoru, a następnie nadzorowane uczenie się, a także...
Zarówno PCA, jak i autoencoder mogą redukować demensję, więc jaka jest między nimi różnica? W jakiej sytuacji powinienem używać jednego nad
Czy ktoś może wyjaśnić, co jest globalną warstwą max pooling i dlaczego i kiedy używamy jej do szkolenia sieci neuronowej. Czy mają przewagę nad zwykłą maksymalną warstwą
Wydaje się, że w niektórych przypadkach można uzyskać podobne wyniki do sieci neuronowej z wielowymiarową regresją liniową, a wielowymiarowa regresja liniowa jest bardzo szybka i łatwa. W jakich okolicznościach sieci neuronowe mogą dawać lepsze wyniki niż wielowymiarowa regresja...
Jestem nowy w dziedzinie głębokiego uczenia się i dla mnie pierwszym krokiem było przeczytanie interesujących artykułów ze strony deeplearning.net. W artykułach o głębokim uczeniu się Hinton i inni mówią głównie o zastosowaniu go do problemów z obrazem. Czy ktoś może mi odpowiedzieć, czy można to...
W większości kodów Tensorflow widziałem, że Adam Optimizer jest używany ze stałą szybkością uczenia się 1e-4(tj. 0,0001). Kod zwykle wygląda następująco: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables....
Wielu autorów artykułów, które czytałem, potwierdza, że SVM to doskonała technika stawienia czoła ich problemom z regresją / klasyfikacją, wiedząc, że nie mogą uzyskać podobnych wyników za pośrednictwem NN. Często porównanie to stwierdza SVM zamiast NN, Mają silną teorię założycielską...
Rozumiem, w jaki sposób artificial neural network (ANN)można trenować w nadzorowany sposób, stosując propagację wsteczną, aby poprawić dopasowanie, zmniejszając błąd w prognozach. Słyszałem, że ANN można wykorzystać do nauki bez nadzoru, ale jak można tego dokonać bez jakiejś funkcji kosztowej,...
Rozumiem, że stochastyczne zejście gradientu może być wykorzystane do optymalizacji sieci neuronowej z wykorzystaniem propagacji wstecznej poprzez aktualizację każdej iteracji inną próbką zestawu danych szkoleniowych. Jak duży powinien być rozmiar
Skoro używamy funkcji logistycznej do przekształcania liniowej kombinacji danych wejściowych w nieliniowe dane wyjściowe, w jaki sposób regresję logistyczną można uznać za klasyfikator liniowy? Regresja liniowa jest jak sieć neuronowa bez warstwy ukrytej, więc dlaczego sieci neuronowe są uważane...
Istnieją rekurencyjne sieci neuronowe i rekurencyjne sieci neuronowe. Oba są zwykle oznaczone tym samym akronimem: RNN. Według Wikipedii , Rekurencyjne NN są w rzeczywistości Rekurencyjne NN, ale tak naprawdę nie rozumiem wyjaśnienia. Co więcej, wydaje mi się, że nie znajduję lepszego (z...
W ostatnim poście na blogu Rong Ge powiedziano, że: Uważa się, że w przypadku wielu problemów, w tym uczenia się sieci głębokich, prawie wszystkie lokalne minimum mają bardzo podobną wartość funkcji do globalnego optimum, a zatem znalezienie lokalnego minimum jest wystarczające. Skąd się...
Zejście z gradientem ma problem z utknięciem w lokalnych minimach. Musimy uruchomić czasy wykładnicze spadku gradientu, aby znaleźć globalne minima. Czy ktoś może mi powiedzieć o jakichkolwiek alternatywach gradientu zejścia stosowanych w uczeniu się sieci neuronowej, a także o ich zaletach i...