Jaka jest różnica między siecią neuronową a siecią głębokiego przekonania?

Odnoszę wrażenie, że gdy ludzie odnoszą się do sieci „głębokiego przekonania”, że jest to w zasadzie sieć neuronowa, ale bardzo duża. Czy jest to poprawne, czy też sieć głębokich przekonań sugeruje również, że sam algorytm jest inny (tj. Nie ma sieci neuronowej ze sprzężeniem zwrotnym, ale może coś z pętlami sprzężenia zwrotnego)?

„Sieci neuronowe” to termin zwykle używany w odniesieniu do zwrotnych sieci neuronowych. Głębokie sieci neuronowe to sprzężone sieci neuronowe z wieloma warstwami.

Sieć głębokiej wiary nie jest tym samym, co sieć głębokiej sieci neuronowej.

Jak wskazałeś, sieć głęboko przekonała, że ​​przekierowała połączenia między niektórymi warstwami. Oznacza to, że topologia DNN i DBN jest z definicji inna.

Niekierowane warstwy w DBN nazywane są Ograniczonymi Maszynami Boltzmanna. Warstwy te można trenować za pomocą bardzo szybkiego algorytmu uczenia się (dywergencja kontrastowa) (bardzo szybko (tutaj link ! Ze szczegółami).

Więcej komentarzy:

Rozwiązania uzyskane z głębszych sieci neuronowych odpowiadają rozwiązaniom, które działają gorzej niż rozwiązania uzyskane dla sieci z 1 lub 2 ukrytymi warstwami. W miarę pogłębiania architektury coraz trudniej jest uzyskać dobre uogólnienie za pomocą Deep NN.

W 2006 r. Hinton odkrył, że znacznie lepsze wyniki można osiągnąć w głębszych architekturach, gdy każda warstwa (RBM) jest wstępnie trenowana przy użyciu algorytmu uczenia bez nadzoru (dywergencja kontrastowa). Następnie sieć może zostać przeszkolona w nadzorowany sposób z wykorzystaniem propagacji wstecznej w celu „dostrojenia” wag.

$j$$x_j$$y_j$

To powiedziawszy, jak wspomniał David: „ sieci głębokiego przekonania mają nieukierunkowane połączenia między dwiema górnymi warstwami, jak w RBM ”, co jest sprzeczne ze standardowymi sieciami neuronowymi ze sprzężeniem zwrotnym. Ogólnie rzecz biorąc, główny problem w DNN dotyczy jego szkolenia, które jest zdecydowanie bardziej zaangażowane niż pojedyncza warstwa NN. (Nie pracuję nad NN, tak się złożyło, że ostatnio czytałem gazetę).

Odniesienia: 1. Głębokie sieci neuronowe do modelowania akustycznego w rozpoznawaniu mowy , autorstwa Geoffreya Hintona, Li Denga, Dong Yu, George'a Dahla, Abdel-rahmana Mohameda, Navdeep Jaitly, Andrew Seniora, Vincenta Vanhoucke, Patrick Nguyen, Tary Sainath oraz Briana Kingsbury w magazynie IEEE Signal Processing Magazine [82] listopad 2012 r. ( Link do oryginału w MSR )

Cieszę się, że mogę zobaczyć komentarze Alexa tutaj. Wyjaśniłem ludziom, że DL jest typową siecią neuronową. Nie ma różnicy w schemacie uczenia się. Wcześniejszy ANN napisany w c (70s) ma opcję konfiguracji wielu ukrytych warstw. Właściwie testowałem, aby ustalić, czy więcej ukrytych warstw poprawia dokładność. Liczba warstw nie odróżnia DL od ANN.

Nienawidzę tego rodzaju warunków marketingowych. Teraz mamy tak wielu ekspertów DL, którzy nie wiedzą, że DL to tak naprawdę ANN. Ponieważ marketing jest tak dobry i silny, ludzie wierzą, że osiągnęliśmy duży postęp w dziedzinie uczenia maszynowego. Ale nic nie jest nowe!