Jaka jest różnica między siecią neuronową a siecią głębokiego przekonania?

62

Odnoszę wrażenie, że gdy ludzie odnoszą się do sieci „głębokiego przekonania”, że jest to w zasadzie sieć neuronowa, ale bardzo duża. Czy jest to poprawne, czy też sieć głębokich przekonań sugeruje również, że sam algorytm jest inny (tj. Nie ma sieci neuronowej ze sprzężeniem zwrotnym, ale może coś z pętlami sprzężenia zwrotnego)?

Vincent Warmerdam
źródło

Odpowiedzi:

59

„Sieci neuronowe” to termin zwykle używany w odniesieniu do zwrotnych sieci neuronowych. Głębokie sieci neuronowe to sprzężone sieci neuronowe z wieloma warstwami.

Sieć głębokiej wiary nie jest tym samym, co sieć głębokiej sieci neuronowej.

Jak wskazałeś, sieć głęboko przekonała, że ​​przekierowała połączenia między niektórymi warstwami. Oznacza to, że topologia DNN i DBN jest z definicji inna.

Niekierowane warstwy w DBN nazywane są Ograniczonymi Maszynami Boltzmanna. Warstwy te można trenować za pomocą bardzo szybkiego algorytmu uczenia się (dywergencja kontrastowa) (bardzo szybko (tutaj link ! Ze szczegółami).

Więcej komentarzy:

Rozwiązania uzyskane z głębszych sieci neuronowych odpowiadają rozwiązaniom, które działają gorzej niż rozwiązania uzyskane dla sieci z 1 lub 2 ukrytymi warstwami. W miarę pogłębiania architektury coraz trudniej jest uzyskać dobre uogólnienie za pomocą Deep NN.

W 2006 r. Hinton odkrył, że znacznie lepsze wyniki można osiągnąć w głębszych architekturach, gdy każda warstwa (RBM) jest wstępnie trenowana przy użyciu algorytmu uczenia bez nadzoru (dywergencja kontrastowa). Następnie sieć może zostać przeszkolona w nadzorowany sposób z wykorzystaniem propagacji wstecznej w celu „dostrojenia” wag.

David Buchaca
źródło
Czy podstawowa różnica między funkcją DNN i DBN polega na tym, że DBN działają w obu kierunkach: in => out dla treningu, out => dla prognoz?
ZAR
5

jxjyj

To powiedziawszy, jak wspomniał David: „ sieci głębokiego przekonania mają nieukierunkowane połączenia między dwiema górnymi warstwami, jak w RBM ”, co jest sprzeczne ze standardowymi sieciami neuronowymi ze sprzężeniem zwrotnym. Ogólnie rzecz biorąc, główny problem w DNN dotyczy jego szkolenia, które jest zdecydowanie bardziej zaangażowane niż pojedyncza warstwa NN. (Nie pracuję nad NN, tak się złożyło, że ostatnio czytałem gazetę).

Odniesienia: 1. Głębokie sieci neuronowe do modelowania akustycznego w rozpoznawaniu mowy , autorstwa Geoffreya Hintona, Li Denga, Dong Yu, George'a Dahla, Abdel-rahmana Mohameda, Navdeep Jaitly, Andrew Seniora, Vincenta Vanhoucke, Patrick Nguyen, Tary Sainath oraz Briana Kingsbury w magazynie IEEE Signal Processing Magazine [82] listopad 2012 r. ( Link do oryginału w MSR )

usεr11852
źródło
1
Głęboka sieć BELIEF zwykle odnosi się do głębokiej sieci z nienadzorowanym wstępnym szkoleniem (ułożone ograniczone maszyny Boltzmanna przeszkolone z rozbieżnością kontrastową).
alfa
5
@ user11852 W dokumencie, do którego się odnosisz, rozróżnia się głębokie sieci neuronowe i sieci głębokich przekonań. Sieci głębokiego przekonania mają nieukierunkowane połączenia między dwiema górnymi warstwami, jak w RBM.
David J. Harris
0

Cieszę się, że mogę zobaczyć komentarze Alexa tutaj. Wyjaśniłem ludziom, że DL jest typową siecią neuronową. Nie ma różnicy w schemacie uczenia się. Wcześniejszy ANN napisany w c (70s) ma opcję konfiguracji wielu ukrytych warstw. Właściwie testowałem, aby ustalić, czy więcej ukrytych warstw poprawia dokładność. Liczba warstw nie odróżnia DL od ANN.

Nienawidzę tego rodzaju warunków marketingowych. Teraz mamy tak wielu ekspertów DL, którzy nie wiedzą, że DL to tak naprawdę ANN. Ponieważ marketing jest tak dobry i silny, ludzie wierzą, że osiągnęliśmy duży postęp w dziedzinie uczenia maszynowego. Ale nic nie jest nowe!

Kihoon Yoon
źródło
4
Właściwie są nowe rzeczy. To prawda, że ​​ANN były znane na długo przed hype DL. Nauczyliśmy się ostatnio wielu sztuczek niezbędnych do nauki tak głębokich sieci neuronowych. Dzięki znacznie większej mocy obliczeniowej odkryliśmy również, że sieci neuronowe świetnie nadają się do obrazów, audio i innych danych, dla których mieliśmy trudności z ręcznym tworzeniem. Jest oczywiście więcej.
Vladislavs Dovgalecs
1
Ta odpowiedź wydaje się być raczej komentarzem do niezwiązanego problemu. Nie widzę wzmianki o sieciach głębokiego przekonania.
beldaz