Sieci głębokiej wiary czy głębokie maszyny Boltzmanna?

Jestem zmieszany. Czy istnieje różnica między sieciami Deep głęboko przekonaniami a maszynami Deep Boltzmann? Jeśli tak, jaka jest różnica?

machine-learning deep-learning rbm deep-belief-networks Jack Twain
źródło

artykuł w Wikipedii na temat sieci głębokich przekonań jest dość jasny, chociaż przydatne / wnikliwe byłoby posiadanie szerszego obrazu etymologii / historii terminów. w zasadzie sieć głębokich przekonań jest dość analogiczna do głębokiej sieci neuronowej z prawdopodobieństwa pow, a głębokie maszyny boltzmanna są jednym algorytmem stosowanym do implementacji sieci głębokich przekonań. najwyraźniej wszystkie ANN mają interpretacje / modele probabilistyczne, ale nie są tak łatwe / bezpośrednie, jak niektóre bayesowskie / probabilistyczne modele „przekonań”.

dniu

Odpowiedzi:

Chociaż sieci Deep Belief Networks (DBN) i Deep Boltzmann Machines (DBM) wyglądają schematycznie bardzo podobnie, w rzeczywistości są bardzo jakościowo bardzo różne. Jest tak, ponieważ DBN są kierowane, a DBM są przekierowywane. Gdybyśmy chcieli dopasować je do szerszego obrazu ML, moglibyśmy powiedzieć, że DBN to sigmoidalne sieci przekonań z wieloma gęsto połączonymi warstwami ukrytych zmiennych, a DBM to losowe pola markowa z wieloma gęsto połączonymi warstwami ukrytych zmiennych.

Jako takie dziedziczą wszystkie właściwości tych modeli. Na przykład w DBN obliczającym , gdzie jest widoczną warstwą, a są ukrytymi zmiennymi, jest łatwe. Z drugiej strony, obliczanie czegokolwiek jest zwykle niewykonalne obliczeniowo w DBM ze względu na trudną funkcję podziału. $P(v|h)$ $v$ $h$ $P$

Biorąc to pod uwagę, istnieją podobieństwa. Na przykład:

DBN i oryginalny DBM działają zarówno przy użyciu schematów inicjalizacji opartych na chciwym szkoleniu warstwowym ograniczonych maszyn Bolzmann (RBM),
Oba są „głębokie”.
Oba mają warstwy ukrytych zmiennych, które są gęsto połączone z warstwami powyżej i poniżej, ale nie mają połączeń międzywarstwowych itp.

alt
źródło

Jak DBN mogą być sigmoidalnymi sieciami przekonań? !! Warstwy DBN są RBM, więc każda warstwa jest losowym polem markowa!

Jack Twain

Myślę, że jest tu literówka „Dzieje się tak, ponieważ DBM są kierowane, a DBM nie są przekierowywane”. Myślę, że miałeś na myśli, że DBN nie są przekierowywani

Jack Twain

@AlexTwain Tak, powinienem przeczytać „DBN są kierowane”. Mimo że możesz zainicjalizować DBN, najpierw ucząc się kilku RBM, na końcu zazwyczaj rozwiązujesz wagi i kończysz się głęboką sigmoidalną siecią przekonań (wyreżyserowaną). W wielu oryginalnych pracach DBN ludzie pozostawili górną warstwę bez ukierunkowania, a następnie ukarani grzywną dostrojoną czymś w rodzaju przebudzenia, w którym to przypadku masz hybrydę.

alt

Czy chodzi ci o to, że w 3. nie mają połączeń międzywarstwowych (np. Między węzłami w ukrytej warstwie) zamiast * międzywarstwy (np. Od wejścia do ukrytej warstwy)?

ddiez

@ddiez Tak, tak to powinno czytać. Dzięki za korektę.

alt

Oba są probabilistycznymi modelami graficznymi składającymi się ze skumulowanych warstw KMS. Różnica polega na sposobie łączenia tych warstw.

Ten link wyjaśnia: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . Ryc. 2 i sekcja 3.1 są szczególnie istotne.

Podsumować:

W DBN połączenia między warstwami są kierowane. Dlatego pierwsze dwie warstwy tworzą RBM (niekierowany model graficzny), a następnie kolejne warstwy tworzą ukierunkowany model generatywny.

W DBM połączenie między wszystkimi warstwami nie jest przekierowywane, dlatego każda para warstw tworzy RBM.

Darkensberge
źródło

więc głęboka maszyna Boltzmanna jest nadal zbudowana z KMS? Swoje wnioski opieram na wstępie i obrazie w artykule

Marin