W Alex Krizhevsky i in. Klasyfikacja Imagenet z głębokimi splotowymi sieciami neuronowymi wyliczają liczbę neuronów w każdej warstwie (patrz diagram poniżej). Dane wejściowe sieci są 150 528-wymiarowe, a liczba neuronów w pozostałych warstwach sieci wynosi 253 340–186,624–64 896–64 8896–43,264–...
Próbuję lepiej zrozumieć splotowe sieci neuronowe, pisząc kod Pythona, który nie zależy od bibliotek (takich jak Convnet lub TensorFlow), i utknąłem w literaturze na temat wyboru wartości dla macierzy jądra, kiedy przeprowadzanie splotu obrazu. Próbuję zrozumieć szczegóły implementacji na etapie...
Niedawno biegałem i uczyłem się przepływu tensora i otrzymałem kilka histogramów, których nie umiałem interpretować. Zazwyczaj myślę o wysokości słupków jako o częstotliwości (lub częstotliwości względnej / zliczeniach). Jednak fakt, że nie ma pasków jak na zwykłym histogramie oraz fakt, że rzeczy...
Bawiłem się prostą siecią neuronową z tylko jedną ukrytą warstwą, autorstwa Tensorflow, a następnie próbowałem różnych aktywacji dla ukrytej warstwy: Relu Sigmoid Softmax (cóż, zwykle softmax jest używany w ostatniej warstwie ..) Relu zapewnia najlepszą dokładność pociągu i dokładność...
Od jakiegoś czasu pracuję z Convolutional Neural Networks (CNN), głównie nad danymi obrazu do segmentacji semantycznej / segmentacji instancji. Często wizualizowałem softmax wyjścia sieciowego jako „mapę cieplną”, aby zobaczyć, jak wysokie są aktywacje na piksel dla określonej klasy....
Jestem ciekawy, w jaki sposób gradienty są propagowane wstecz przez sieć neuronową przy użyciu modułów ResNet / pomijania połączeń. Widziałem kilka pytań na temat ResNet (np. Sieć neuronowa z połączeniami pomijanymi ), ale to pytanie dotyczy konkretnie wstecznej propagacji gradientów podczas...
Czy są jakieś dobre artykuły, które obejmują metodyczne sposoby wybierania wymiarów filtrów, łączenia jednostek i określania liczby warstw
Czytałem artykuł z normalizacji wsadowej (BN) (1) i nie rozumiałem potrzeby używania średnich ruchomych do śledzenia dokładności modelu, a nawet jeśli zaakceptowałem, że było to właściwe, nie rozumiem co dokładnie robią. W moim rozumieniu (co się mylę) w dokumencie wspomniano, że wykorzystuje on...
Architekturę wąskiego gardła definiujemy jako typ znaleziony w dokumencie ResNet, w którym [dwie warstwy konwekcyjne 3x3] są zastępowane przez [jedna konwekcja 1x1, jedna konwekcja 3x3 i kolejna warstwa konwekcyjna 1x1]. Rozumiem, że warstwy konwekcji 1x1 są używane jako forma redukcji wymiarów (i...
Chciałbym wiedzieć, czy istnieje kod do trenowania splotowej sieci neuronowej do przeprowadzania klasyfikacji szeregów czasowych. Widziałem kilka ostatnich artykułów ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ), ale nie jestem pewien, czy coś istnieje lub czy sam to...
Pracuję nad klasyfikacją etapu snu. Czytałem niektóre artykuły badawcze na ten temat, wiele z nich używało SVM lub metody ensemble. Czy dobrym pomysłem jest użycie splotowej sieci neuronowej do klasyfikacji jednowymiarowego sygnału EEG? Jestem nowy w tego rodzaju pracy. Wybacz mi, jeśli poproszę o...
W implementacji ResNet przez Tensorflow widzę , że używają inicjalizatora skalowania wariancji, a także, że inicjator Xavier jest popularny. Nie mam za dużo doświadczenia, co jest lepsze w
Czy jest jakaś różnica między „uczeniem się przez transfer” a „adaptacją domeny”? Nie wiem o kontekście, ale rozumiem, że mamy jakiś zestaw danych 1 i trenujemy go, po czym mamy inny zestaw danych 2, do którego chcemy dostosować nasz model bez ponownego szkolenia od zera, dla którego „uczenie się...
Przeglądałem dokumenty konwolucji keras i znalazłem dwa rodzaje konwulsji Conv1D i Conv2D. Przeprowadziłem wyszukiwanie w Internecie i właśnie to rozumiem na temat Conv1D i Conv2D; Conv1D jest używany do sekwencji, a Conv2D do zdjęć. Zawsze myślałem, że sieci nerwowe splotu są używane tylko do...
Rozumiem warstwy splotowe i łączące, ale nie widzę powodu w pełni połączonej warstwy w sieciach CNN. Dlaczego poprzednia warstwa nie jest bezpośrednio połączona z warstwą
Architektura AlexNet korzysta z wypełnień zerowych, jak pokazano na rysunku: W artykule nie ma jednak wyjaśnienia, dlaczego wprowadzono to wypełnienie. Kurs Standford CS 231n uczy, że używamy paddingu, aby zachować rozmiar przestrzenny: Zastanawiam się, czy to jedyny powód, dla którego...
Mam kilka pytań, które mnie dezorientują w odniesieniu do CNN. 1) Funkcje wyodrębnione za pomocą CNN są niezmienne w skali i rotacji? 2) Jądra, których używamy do splotu z naszymi danymi, są już zdefiniowane w literaturze? jakie są te jądra? czy jest inaczej dla każdej...
Widziałem wykresy błędu testu / treningu nagle spadające kilka razy w pewnej epoce (ach) podczas treningu sieci neuronowej i zastanawiam się, co powoduje te skoki wydajności: To zdjęcie pochodzi z Kaiming Jest Githubem, ale podobne wątki pojawiają się w wielu artykułach....
Najpopularniejsze splotowe sieci neuronowe zawierają pule warstw, aby zmniejszyć wymiary elementów wyjściowych. Dlaczego nie mogłem osiągnąć tego samego, po prostu zwiększając tempo warstwy splotowej? Co sprawia, że warstwa puli jest
Jaka jest liczba filtrów w warstwie splotowej? Jak ta liczba wpływa na wydajność lub jakość architektury? Mam na myśli, czy zawsze powinniśmy wybierać większą liczbę filtrów? co z nich dobrego? i W jaki sposób ludzie przypisują różną liczbę filtrów dla różnych warstw? Mam na myśli spojrzenie na to...