Sztuczne sieci neuronowe (ANN) składają się z „neuronów” - konstruktów programistycznych, które naśladują właściwości neuronów biologicznych. Zestaw ważonych połączeń między neuronami umożliwia rozprzestrzenianie się informacji przez sieć w celu rozwiązania problemów sztucznej inteligencji, bez projektanta sieci posiadającego model prawdziwego systemu.
Niedawno przeczytałem w pełni sieci konwergentne dla segmentacji semantycznej autorstwa Jonathana Longa, Evana Shelhamera, Trevora Darrella. Nie rozumiem, co robią „warstwy dekonwolucyjne” / jak działają. Odpowiednia część to 3.3 Upsampling jest konwertowanym krokiem wstecz Innym sposobem...
Używam sieci neuronowych do rozwiązywania różnych problemów związanych z uczeniem maszynowym. Używam Pythona i Pybrain, ale ta biblioteka jest prawie wycofana. Czy istnieją inne dobre alternatywy w
Odnosząc się do notatek z kursu Stanford na temat sieci neuronowych splotowych do rozpoznawania wzrokowego , akapit mówi: „Niestety jednostki ReLU mogą być kruche podczas treningu i mogą„ umrzeć ”. Na przykład duży gradient przepływający przez neuron ReLU może spowodować aktualizację wag w taki...
Kluczowa różnica między GRU a LSTM polega na tym, że GRU ma dwie bramki (bramki resetowania i aktualizacji ), podczas gdy LSTM ma trzy bramki (mianowicie bramki wejścia , wyjścia i zapomnienia ). Dlaczego korzystamy z GRU, skoro mamy wyraźniejszą kontrolę nad siecią dzięki modelowi LSTM (ponieważ...
Obecnie pracuję nad implementacją Stochastic Gradient Descent, SGDdla sieci neuronowych wykorzystujących propagację wsteczną i choć rozumiem jej cel, mam kilka pytań na temat wyboru wartości szybkości uczenia się. Czy szybkość uczenia się jest związana z kształtem gradientu błędu, ponieważ...
Podczas pisania pracy / prezentacji na temat sieci neuronowych zwykle wizualizuje się architekturę sieci. Jakie są dobre / proste sposoby automatycznej wizualizacji popularnych
Zbudowałem swój model. Teraz chcę narysować schemat architektury sieci dla mojego artykułu badawczego. Przykład pokazano
Jest to małe pytanie koncepcyjne, które dręczy mnie od dłuższego czasu: Jak możemy propagować wstecz przez warstwę max-pooling w sieci neuronowej? Natknąłem się na warstwy o maksymalnej puli podczas omawiania tego samouczka dla biblioteki nn Torch 7. Biblioteka streszcza obliczenia gradientu i...
Niedawno przeczytałem komentarz Yan LeCuns na temat zwojów 1x1 : W sieciach konwekcyjnych nie ma czegoś takiego jak „w pełni połączone warstwy”. Istnieją tylko warstwy splotu z jądrem splotu 1x1 i pełną tabelą połączeń. Jest to zbyt rzadko rozumiany fakt, że ConvNets nie muszą mieć danych...
Myślałem o Rekurencyjnych Sieciach Neuronowych (RNN) i ich odmianach oraz Konwolucyjnych Sieciach Neuronowych (CNN) i ich odmianach. Czy te dwa punkty są sprawiedliwe: Użyj CNN, aby rozbić komponent (taki jak obraz) na podskładniki (takie jak obiekt w obrazie, taki jak kontur obiektu w obrazie...
Wiedziałem, że Residual Network (ResNet) sprawił, że zwykła inicjalizacja He stała się popularna. W ResNet używana jest normalna inicjalizacja He , podczas gdy pierwsza warstwa używa jednolitej inicjalizacji He. Przejrzałem papier ResNet i papier „Zagłębiając się w prostowniki” (papier...
Kiedy zaczynałem od sztucznych sieci neuronowych (NN), pomyślałem, że będę musiał walczyć z nadmiernym dopasowaniem jako głównym problemem. Ale w praktyce nie mogę nawet sprawić, aby mój NN przekroczył barierę 20% poziomu błędu. Nie mogę nawet pobić mojego wyniku w losowym lesie! Szukam bardzo...
Używam TensorFlow do eksperymentów głównie z sieciami neuronowymi. Chociaż przeprowadziłem już dość eksperymentów (problem XOR, MNIST, niektóre rzeczy związane z regresją ...), mam problem z wybraniem „właściwej” funkcji kosztu dla konkretnych problemów, ponieważ ogólnie można mnie uznać za...
czytałem trochę o LSTM i ich zastosowaniu do szeregów czasowych i było to interesujące, ale jednocześnie trudne. Jedną rzeczą, z którą miałem trudności ze zrozumieniem, jest podejście do dodawania dodatkowych funkcji do już istniejącej listy funkcji szeregów czasowych. Zakładając, że masz zestaw...
Myślałem, że zarówno PReLU, jak i Leaky ReLU są fa( x ) = maks. ( x , α x ) z α ∈ ( 0 , 1 )f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras ma jednak obie funkcje w dokumentacji . Nieszczelne ReLU Źródło LeakyReLU : return K.relu(inputs,...
Chciałbym użyć sieci neuronowej do klasyfikacji obrazów. Zacznę od wstępnie przeszkolonego CaffeNet i wyszkolę go do mojej aplikacji. Jak przygotować obrazy wejściowe? W tym przypadku wszystkie obrazy są tego samego obiektu, ale z różnymi odmianami (pomyśl: kontrola jakości). Są w nieco różnych...
Mam problem ze zrozumieniem różnicy między ekwiwariantem a tłumaczeniem i niezmiennikiem dla tłumaczenia . W książce Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville i Y. Bengio), można znaleźć w sieciach splotowych: [...] szczególna forma udostępniania parametrów powoduje, że...
Zwyczajowo użytkownicy różnych społeczności cytują zabawne rzeczy na temat swoich dziedzin. Dzielenie się zabawnymi informacjami o uczeniu maszynowym, głębokim uczeniu się, nauce danych i rzeczach, z którymi codziennie się zmagasz, może być
Ja nadal mylić o różnicę między Densei TimeDistributedDensena Keraschociaż istnieją już pewne podobne pytania zadawane tutaj i tutaj . Ludzie dużo dyskutują, ale nie uzgodniono wspólnie wniosków. I chociaż tutaj @fchollet stwierdził, że: TimeDistributedDensestosuje tę samą Dense(w pełni...
Pracuję na badania, gdzie potrzeba klasyfikowania jednego zwycięzcy trzech zdarzeń = ( win, draw, lose) WINNER LEAGUE HOME AWAY MATCH_HOME MATCH_DRAW MATCH_AWAY MATCH_U2_50 MATCH_O2_50 3 13 550 571 1.86 3.34 4.23 1.66 2.11 3 7 322 334 7.55 4.1 1.4 2.17 1.61 Mój obecny model to: def...