Jakie są zalety, dlaczego warto korzystać z wielu LSTM, ułożonych jeden obok drugiego, w sieci głębokiej? Używam LSTM do reprezentowania sekwencji danych wejściowych jako pojedynczego wejścia. Więc kiedy mam tę pojedynczą reprezentację - dlaczego miałbym ją powtórzyć? Pytam o to, ponieważ...
Chcę wykorzystać głębokie uczenie się w moim projekcie. Przejrzałem kilka artykułów i przyszło mi do głowy pytanie: czy jest jakaś różnica między siecią neuronową splotu a głębokim uczeniem się? Czy te rzeczy są takie same, czy różnią się między sobą, a co jest...
Dlaczego funkcje aktywacji rektyfikowanych jednostek liniowych (ReLU) są uważane za nieliniowe? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Są one liniowe, gdy dane wejściowe są dodatnie i z mojego zrozumienia, aby odblokować reprezentatywną moc głębokich sieci, nieliniowe aktywacje są...
Wiem, że moje pytanie / tytuł nie jest zbyt szczegółowe, dlatego postaram się je wyjaśnić: Sztuczne sieci neuronowe mają stosunkowo ścisłe konstrukcje. Oczywiście na ogół mają na nie wpływ biologia i próbują zbudować matematyczny model prawdziwych sieci neuronowych, ale nasze zrozumienie...
Jaka jest różnica między rezygnacją a połączeniem przez połączenie? AFAIK, dropout losowo zrzuca ukryte węzły podczas treningu, ale utrzymuje je w testach, a drop connect zrzuca połączenia. Ale czy zrywanie połączeń nie jest równoważne z usuwaniem ukrytych węzłów? Czy węzły (lub połączenia) nie...
Czytałem o optymalizatorze Adama do głębokiego uczenia się i natknąłem się na następujące zdanie w nowej książce Deep Learning autorstwa Bengio, Goodfellow i Courville: Adam jest ogólnie uważany za dość odpornego na wybór hiper parametrów, chociaż szybkość uczenia się czasami trzeba zmienić w...
Próbuję lepiej zrozumieć splotowe sieci neuronowe, pisząc kod Pythona, który nie zależy od bibliotek (takich jak Convnet lub TensorFlow), i utknąłem w literaturze na temat wyboru wartości dla macierzy jądra, kiedy przeprowadzanie splotu obrazu. Próbuję zrozumieć szczegóły implementacji na etapie...
Mam 50 000 obrazów takich jak te dwa: Przedstawiają wykresy danych. Chciałem wydobyć funkcje z tych obrazów, więc użyłem kodu autoencodera dostarczonego przez Theano (deeplearning.net). Problem polega na tym, że te autoencodery wydają się nie uczyć żadnych funkcji. Próbowałem RBM i to...
W Alex Krizhevsky i in. Klasyfikacja Imagenet z głębokimi splotowymi sieciami neuronowymi wyliczają liczbę neuronów w każdej warstwie (patrz diagram poniżej). Dane wejściowe sieci są 150 528-wymiarowe, a liczba neuronów w pozostałych warstwach sieci wynosi 253 340–186,624–64 896–64 8896–43,264–...
Właśnie zacząłem uczyć się o statystykach i modelach. Obecnie rozumiem, że używamy MLE do oszacowania najlepszych parametrów dla modelu. Kiedy jednak próbuję zrozumieć, jak działają sieci neuronowe, wydaje się, że zwykle używają innego podejścia do oszacowania parametrów. Dlaczego nie używamy MLE...
Niedawno biegałem i uczyłem się przepływu tensora i otrzymałem kilka histogramów, których nie umiałem interpretować. Zazwyczaj myślę o wysokości słupków jako o częstotliwości (lub częstotliwości względnej / zliczeniach). Jednak fakt, że nie ma pasków jak na zwykłym histogramie oraz fakt, że rzeczy...
Próbuję więc przeprowadzić wstępne szkolenie na obrazach ludzi za pomocą sieci splotowych. Czytam gazety ( papierowe1 i Paper2 ) i ten związek stackoverflow , ale nie jestem pewien, jestem zrozumieć strukturę sieci (nie jest dobrze zdefiniowane w dokumentach). Pytania: Mogę mieć moje dane...
Wiem, że wprowadzono wiele postępów w zakresie rozpoznawania obrazów, klasyfikacji obrazów itp. Z głębokimi, splotowymi sieciami neuronowymi. Ale jeśli trenuję sieć na przykład na obrazach PNG, czy będzie ona działać tylko dla obrazów tak zakodowanych? Jakie inne właściwości obrazu mają na to...
Jeśli spojrzysz na dokumentację http://keras.io/optimizers/, w SGD znajduje się parametr rozpadu. Wiem, że to zmniejsza szybkość uczenia się w miarę upływu czasu. Nie mogę jednak dowiedzieć się, jak to dokładnie działa. Czy jest to wartość pomnożona przez współczynnik uczenia się, np. Czy lr = lr *...
Jestem ciekawy, w jaki sposób gradienty są propagowane wstecz przez sieć neuronową przy użyciu modułów ResNet / pomijania połączeń. Widziałem kilka pytań na temat ResNet (np. Sieć neuronowa z połączeniami pomijanymi ), ale to pytanie dotyczy konkretnie wstecznej propagacji gradientów podczas...
Bawiłem się prostą siecią neuronową z tylko jedną ukrytą warstwą, autorstwa Tensorflow, a następnie próbowałem różnych aktywacji dla ukrytej warstwy: Relu Sigmoid Softmax (cóż, zwykle softmax jest używany w ostatniej warstwie ..) Relu zapewnia najlepszą dokładność pociągu i dokładność...
Cóż, pytanie mówi wszystko. Co należy rozumieć przez „wstępne szkolenie sieci neuronowej”? Czy ktoś może wyjaśnić w prostym angielskim? Nie mogę znaleźć żadnych związanych z tym zasobów. Byłoby wspaniale, gdyby ktoś mógł mnie do nich
Chciałem eksperymentować z siecią neuronową w związku z problemem klasyfikacji, przed którym stoję. Natknąłem się na dokumenty, które mówią o KMS. Ale z tego, co rozumiem, nie różnią się niczym od posiadania wielowarstwowej sieci neuronowej. Czy to jest dokładne? Ponadto pracuję z R i nie widzę...
Aby zilustrować moje pytanie, załóżmy, że mam zestaw treningowy, w którym sygnał wejściowy ma pewien poziom szumu, ale wynik nie, na przykład; # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, 9.01, 12.10] :...