Być może jest to zbyt ogólne, ale szukam referencji na temat korzystania z głębokiego uczenia się w zadaniu podsumowywania tekstu. Wdrożyłem już podsumowanie tekstu przy użyciu standardowych podejść do częstotliwości słów i rankingu zdań, ale chciałbym zbadać możliwość zastosowania technik...
Zastanawiałem się, jak musimy zdecydować, ile węzłów w ukrytych warstwach i ile ukrytych warstw umieścić, gdy budujemy architekturę sieci neuronowej. Rozumiem, że warstwa wejściowa i wyjściowa zależy od posiadanego zestawu szkoleniowego, ale jak decydujemy o warstwie ukrytej i ogólnej...
Keras obsługuje zarówno TensorFlow i Theano jako backend: jakie są plusy / minusy wybierając jedną versus inne, oprócz faktu, że obecnie nie wszystkie operacje są realizowane przy backend
Funkcje aktywacyjne służą do wprowadzenia nieliniowości w liniowym wyjściu typu w * x + bw sieci neuronowej. Które jestem w stanie zrozumieć intuicyjnie dla funkcji aktywacyjnych takich jak sigmoid. Rozumiem zalety ReLU, które pozwala uniknąć martwych neuronów podczas propagacji wstecznej. Jednak...
Z kodu Tensorflow : Tensorflow. RnnCell. num_units: int, The number of units in the LSTM cell. Nie mogę zrozumieć, co to oznacza. Jakie są jednostki komórki LSTM. Bramy wejściowe, wyjściowe i zapomnienia? Czy to oznacza „liczbę jednostek w rekurencyjnej warstwie projekcyjnej dla Deep LSTM”....
Rozważ sieć neuronową: Dla danego zestawu danych dzielimy je na zestaw szkoleniowy, walidacyjny i testowy. Załóżmy, że robimy to w klasycznym stosunku 60:20:20, a następnie zapobiegamy przeuczeniu, sprawdzając poprawność sieci, sprawdzając ją na zestawie sprawdzania poprawności. Jaka jest więc...
Od jakiegoś czasu korzystam z sieci neuronowych. Jednak jedną rzeczą, z którą ciągle mam problemy, jest wybór optymalizatora do szkolenia sieci (przy użyciu backprop). To, co zwykle robię, to zaczynam od jednego (np. Standardowego SGD), a następnie wypróbowuję inne dość losowo. Zastanawiałem się,...
Staram się zrozumieć rolę pochodnej funkcji sigmoidalnej w sieciach neuronowych. Najpierw wykreślam funkcję sigmoidalną i pochodną wszystkich punktów z definicji za pomocą pytona. Jaka jest dokładnie rola tej pochodnej? import numpy as np import matplotlib.pyplot as plt def sigmoid(x):...
Z samouczka RNN firmy Keras: „RNN są trudne. Wybór wielkości partii jest ważny, wybór straty i optymalizatora ma kluczowe znaczenie itp. Niektóre konfiguracje nie będą zbieżne”. Jest to więc bardziej ogólne pytanie dotyczące dostrajania hiperparametrów LSTM-RNN w Keras. Chciałbym wiedzieć o...
Mam pewne trudności w uzyskaniu wstecznej propagacji za pomocą ReLU i wykonałem trochę pracy, ale nie jestem pewien, czy jestem na dobrej drodze. Funkcja kosztu: gdzie jest wartością rzeczywistą, a jest wartością przewidywaną. Zakładamy również, że > 0 zawsze.Y Y...
Tworzę plik corr()df z oryginalnego pliku df. corr()Df wyszedł 70 x 70 i to jest niemożliwe, aby wyobrazić sobie mapę cieplną ... sns.heatmap(df). Jeśli spróbuję wyświetlić corr = df.corr(), tabela nie pasuje do ekranu i widzę wszystkie korelacje. Czy jest to sposób na wydrukowanie całości dfbez...
Robię projekt dotyczący problemu z identyfikacją autora. Zastosowałem normalizację tf-idf do trenowania danych, a następnie wyszkoliłem svm na tych danych. Teraz, używając klasyfikatora, powinienem również znormalizować dane testowe. Wydaje mi się, że podstawowym celem normalizacji jest...
Pracuję nad pytaniem z książki online: http://neuralnetworksanddeeplearning.com/chap1.html Rozumiem, że jeśli dodatkowa warstwa wyjściowa składa się z 5 neuronów wyjściowych, prawdopodobnie mogłabym ustawić odchylenie na 0,5 i wagę 0,5 dla każdej poprzedniej warstwy. Ale pytanie wymaga teraz...
Tutaj odpowiedź odnosi się do znikania i eksplodowania gradientów, które były sigmoidpodobne do funkcji aktywacyjnych, ale, jak sądzę, Relumają wadę i są to oczekiwana wartość. nie ma ograniczeń dla wyjścia, Reluwięc jego oczekiwana wartość nie jest równa zero. Pamiętam czas, zanim popularność...
Bagging to generowanie wielu predyktorów, które działają tak samo, jak jeden predyktor. Dropout jest techniką, która uczy sieci neuronowe uśredniania wszystkich możliwych podsieci. Patrząc na najważniejsze zawody Kaggle, wydaje się, że te dwie techniki są bardzo często używane razem. Nie widzę...
Załóżmy, że mamy dwa rodzaje funkcji wprowadzania danych, kategoryczne i ciągłe. Dane kategoryczne mogą być reprezentowane jako jeden kod A, natomiast dane ciągłe to po prostu wektor B w przestrzeni N-wymiarowej. Wydaje się, że samo użycie concat (A, B) nie jest dobrym wyborem, ponieważ A, B to...
Wiem, że nie ma jednoznacznej odpowiedzi na to pytanie, ale załóżmy, że mam ogromną sieć neuronową z dużą ilością danych i chcę dodać nową funkcję na wejściu. „Najlepszym” sposobem byłoby przetestowanie sieci za pomocą nowej funkcji i zobaczenie wyników, ale czy istnieje metoda sprawdzania, czy...
Gram trochę z konwekcjami. W szczególności korzystam z zestawu danych kaggle koty kontra psy, który składa się z 25 000 obrazów oznaczonych jako kot lub pies (po 12500 każdego). Udało mi się osiągnąć około 85% dokładności klasyfikacji na moim zestawie testowym, jednak wyznaczyłem sobie cel...
Badałem typy funkcji aktywacyjnych dla sieci neuronowych. Same funkcje są dość proste, ale różnica w aplikacji nie jest do końca jasna. Rozsądne jest rozróżnienie funkcji typu logicznego i liniowego, w zależności od pożądanego wyjścia binarnego / ciągłego, ale jaka jest przewaga funkcji...
Obecnie przygotowuję się do egzaminu z sieci neuronowych. W kilku protokołach z poprzednich badań czytałem, że funkcje aktywacyjne neuronów (w perceptronach wielowarstwowych) muszą być monotoniczne. Rozumiem, że funkcje aktywacyjne powinny być rozróżnialne, mieć pochodną, która w większości...