Istnieją rekurencyjne sieci neuronowe i rekurencyjne sieci neuronowe. Oba są zwykle oznaczone tym samym akronimem: RNN. Według Wikipedii , Rekurencyjne NN są w rzeczywistości Rekurencyjne NN, ale tak naprawdę nie rozumiem wyjaśnienia.
Co więcej, wydaje mi się, że nie znajduję lepszego (z przykładami) dla przetwarzania w języku naturalnym. Faktem jest, że chociaż Socher używa Recursive NN dla NLP w swoim samouczku , nie mogę znaleźć dobrej implementacji rekurencyjnych sieci neuronowych, a kiedy szukam w Google, większość odpowiedzi dotyczy Recurrent NN.
Poza tym, czy istnieje inna nazwa DNN, która lepiej pasuje do NLP, czy zależy to od zadania NLP? Sieci głębokiego przekonania czy autoakodery piętrowe? (Wydaje mi się, że nie znajduję żadnego konkretnego zastosowania dla ConvNets w NLP, a większość implementacji dotyczy maszyn.)
Wreszcie, naprawdę wolałbym implementacje DNN dla C ++ (jeszcze lepiej, jeśli ma obsługę GPU) lub Scali (lepiej, jeśli ma obsługę Spark) niż Python lub Matlab / Octave.
Próbowałem Deeplearning4j, ale jest w ciągłym rozwoju, a dokumentacja jest trochę przestarzała i nie mogę sprawić, by działała. Szkoda, bo ma „czarną skrzynkę” jak sposób robienia rzeczy, bardzo podobny do scikit-learn lub Weka, czego naprawdę chcę.
źródło
Nawracające sieci neuronowe (RNN) zasadniczo rozwijają się z czasem. Służy do wprowadzania sekwencyjnego, w którym czynnik czasu jest głównym czynnikiem różnicującym elementy sekwencji. Na przykład, tutaj jest cykliczna sieć neuronowa używana do modelowania języka, która rozwijała się z czasem. Na każdym kroku czasu, oprócz danych wprowadzonych przez użytkownika w tym kroku czasu, akceptuje również wyjście warstwy ukrytej, które zostało obliczone w poprzednim kroku czasu.
Rekurencyjne sieci neuronowe są bardziej jak sieć hierarchiczna, w której tak naprawdę nie ma aspektu czasu w sekwencji wejściowej, ale dane wejściowe muszą być przetwarzane hierarchicznie w formie drzewa. Oto przykład, jak wygląda rekurencyjna sieć neuronowa. Pokazuje sposób uczenia się parsowania drzewa zdania poprzez rekurencyjne pobieranie wyniku operacji wykonanej na mniejszym fragmencie tekstu.
[ UWAGA ]:
LSTM i GRU to dwa rozszerzone typy RNN z bramką „zapominania”, które są bardzo powszechne w NLP.
Formuła komórek LSTM:
źródło