Funkcja kosztu sieci neuronowej to J(W,b)J(W,b)J(W,b) i twierdzi się, że nie jest wypukła . Nie do końca rozumiem, dlaczego tak jest, ponieważ, jak widzę, jest dość podobny do funkcji kosztu regresji logistycznej, prawda? Jeśli nie jest wypukła, to pochodna drugiego rzędu...
Przede wszystkim zdałem sobie sprawę, że jeśli muszę wykonać przewidywania binarne, muszę utworzyć co najmniej dwie klasy, wykonując kodowanie „na gorąco”. Czy to jest poprawne? Czy jednak binarna entropia krzyżowa dotyczy tylko predykcji z tylko jedną klasą? Gdybym miał zastosować kategoryczną...
LSTM został opracowany specjalnie w celu uniknięcia problemu zanikania gradientu. Ma to zrobić za pomocą karuzeli Constant Error (CEC), która na poniższym schemacie ( Greff i in. ) Odpowiada pętli wokół komórki . (źródło: deeplearning4j.org ) Rozumiem, że ta część może być postrzegana jako...
Kodowanie rzadkie definiuje się jako uczenie się kompletnego zestawu wektorów podstawowych do reprezentowania wektorów wejściowych (<- dlaczego tego chcemy). Jakie są różnice między rzadkim kodowaniem a autoencoderem? Kiedy zastosujemy rzadkie kodowanie i
Przeczytałem kilka artykułów omawiających zalety i wady każdej metody, niektórzy twierdzą, że GA nie daje żadnej poprawy w znalezieniu optymalnego rozwiązania, podczas gdy inni pokazują, że jest on bardziej skuteczny. Wydaje się, że GA jest ogólnie preferowane w literaturze (chociaż większość ludzi...
Wszystkie wydają się reprezentować zmienne losowe przez węzły i (nie) zależność poprzez (ewentualnie skierowane) krawędzie. Szczególnie interesuje mnie punkt widzenia
Czy ktoś widział jakąkolwiek literaturę na temat szkolenia wstępnego w głęboko splotowej sieci neuronowej? Widziałem tylko bez nadzoru trening wstępny w automatyce lub ograniczonych maszynach
Mam zestaw danych do przesyłania strumieniowego, przykłady są dostępne pojedynczo. Musiałbym na nich dokonać klasyfikacji wielu klas. Jak tylko podałem przykład szkolenia do procesu uczenia się, muszę go odrzucić. Jednocześnie używam również najnowszego modelu do prognozowania danych...
Jestem nowy w modelowaniu z sieciami neuronowymi, ale udało mi się stworzyć sieć neuronową ze wszystkimi dostępnymi punktami danych, która dobrze pasuje do obserwowanych danych. Sieć neuronowa została wykonana w R z pakietem nnet: require(nnet) ##33.8 is the highest value mynnet.fit <-...
W Andrzej zNg sieci neuronowe i głęboki learning na Coursera mówi, że przy tanhtanhtanh jest prawie zawsze korzystniejsze sigmoidsigmoidsigmoid . Powodem jest to, że daje on wyjść przy użyciu tanhtanhtanh centrum niż około 0 sigmoidsigmoidsigmoid „a 0,5, a to«sprawia, że uczenie się do następnej...
Jestem zupełnie nowy w sieciach neuronowych, ale bardzo zainteresowany ich zrozumieniem. Jednak nie jest łatwo zacząć. Czy ktoś mógłby polecić dobrą książkę lub inny rodzaj zasobów? Czy jest coś, co musisz przeczytać? Jestem wdzięczny za jakąkolwiek
Komputery od dawna potrafią grać w szachy za pomocą techniki „brute-force”, szukając określonej głębokości, a następnie oceniając pozycję. Komputer AlphaGo używa jednak tylko ANN do oceny pozycji (o ile mi wiadomo, nie dokonuje głębokiego przeszukiwania). Czy można stworzyć silnik szachowy, który...
Jak wyjaśnimy różnicę między regresją logistyczną a siecią neuronową odbiorcom, którzy nie mają doświadczenia w statystyce?
Przez jakiś czas studiowałem LSTM. Rozumiem na wysokim poziomie, jak wszystko działa. Jednak zamierzając je zaimplementować za pomocą Tensorflow, zauważyłem, że BasicLSTMCell wymaga szeregunum_units parametrów (tj. ) Parametrów. Z tego bardzo dokładnego wyjaśnienia LSTM wynika, że jedna...
Pracowałem nad problemem regresji, w którym dane wejściowe to obraz, a etykieta ma wartość ciągłą od 80 do 350. Obrazy mają związek chemiczny po zajściu reakcji. Kolor, który się okazuje, wskazuje stężenie innej chemikaliów, która pozostała, i to właśnie model ma wytworzyć - stężenie tej substancji...
Wprowadzenie do tła W splotowej sieci neuronowej zwykle mamy ogólną strukturę / przepływ, który wygląda następująco: obraz wejściowy (tj. wektor 2D x) (Pierwsza warstwa konwergencji (konw. 1) zaczyna się tutaj ...) zwinąć zestaw filtrów ( w1) wzdłuż obrazu 2D (tzn. wykonać iloczyny z1 =...
Przeczytałem tę stronę: http://neuralnetworksanddeeplearning.com/chap3.html i powiedział, że sigmoidalna warstwa wyjściowa z entropią krzyżową jest dość podobna do warstwy wyjściowej softmax z prawdopodobieństwem logarytmicznym. co się stanie, jeśli użyję sigmoid z logarytmem prawdopodobieństwa...
Dlaczego używamy rektyfikowanych jednostek liniowych (ReLU) z sieciami neuronowymi? Jak to poprawia sieć neuronową? Dlaczego mówimy, że ReLU jest funkcją aktywacyjną? Czy funkcja aktywacji softmax nie jest dostępna dla sieci neuronowych? Zgaduję, że używamy zarówno ReLU, jak i softmax: neuron 1...
[To pytanie zadawano również przy przepełnieniu stosu] Pytanie w skrócie Badam splotowe sieci neuronowe i uważam, że sieci te nie traktują każdego neuronu wejściowego (piksela / parametru) w sposób równoważny. Wyobraź sobie, że mamy głęboką sieć (wiele warstw), która stosuje splot na niektórych...
Sieć neuronowa uczy się cech zestawu danych jako sposobu na osiągnięcie pewnego celu. Po zakończeniu możemy chcieć dowiedzieć się, czego nauczyła się sieć neuronowa. Jakie były funkcje i dlaczego o to dbano. Czy ktoś może podać jakieś referencje na temat pracy, która dotyczy tego...