Czy warstwy głębokich sieci neuronowych można postrzegać jako sieci Hopfielda?

Sieci Hopfield są w stanie przechowywać wektor i wyszukiwać go, zaczynając od hałaśliwej wersji. Robią to, ustawiając ciężary, aby zminimalizować funkcję energii, gdy wszystkie neurony są ustawione na równe wartościom wektorów, i odzyskują wektor, używając jego hałaśliwej wersji jako danych wejściowych i pozwalając sieci osiąść na minimum energetycznym.

Pomijając problemy, takie jak fakt, że nie ma gwarancji, że sieć osiądzie w najbliższym minimum itp. - problemy ostatecznie rozwiązane za pomocą maszyn Boltzmanna i ewentualnie z propagacją wsteczną - przełomem było to, że były punktem wyjścia do posiadania abstrakcyjnych reprezentacji. Dwie wersje tego samego dokumentu przywołałyby ten sam stan, byłyby reprezentowane w sieci przez ten sam stan.

Jak napisał sam Hopfield w swoim artykule z 1982 r. Sieci neuronowe i systemy fizyczne o pojawiających się zbiorowych zdolnościach obliczeniowych

Obecne modelowanie może być następnie powiązane z tym, jak jednostka lub Gestalt są zapamiętywane lub kategoryzowane na podstawie danych wejściowych reprezentujących zbiór jego cech.

Z drugiej strony przełomem w głębokim uczeniu się była zdolność do budowania wielu, hierarchicznych reprezentacji danych wejściowych, co ostatecznie doprowadziło do ułatwienia życia praktykom AI, upraszczając inżynierię cech. (patrz np. Nauka reprezentacji: przegląd i nowe perspektywy , Bengio, Courville, Vincent).

Z koncepcyjnego punktu widzenia uważam, że głębokie uczenie się można postrzegać jako uogólnienie sieci Hopfield: od jednej reprezentacji po hierarchię reprezentacji.

Czy to prawda również z obliczeniowego / topologicznego punktu widzenia? Nie biorąc pod uwagę, jak „proste” sieci Hopfielda (neurony 2-stanowe, nieukierowane, funkcja energetyczna), można postrzegać każdą warstwę sieci jako sieć Hopfielda, a cały proces jako sekwencyjną ekstrakcję wcześniej zapamiętanego Gestalt i reorganizację te Gestalt?

Głębokie uczenie się nie jest uogólnieniem sieci Hopfield. Głębokie uczenie się to „uogólnienie” pola sieci neuronowych / połączeń, zapoczątkowane przez Rumelharta i McClellanda.

Istnieją dwa rodzaje sieci neuronowych:

• Reżyseria (Perceptron, MLP, ConvNets, RNN itp.)
• Bezkierunkowe (siatki Hopfielda, maszyny Boltzmanna, modele oparte na energii itp.)

Każdy z nich może być głęboko. Jak powiedziałeś, maszyny Boltzmanna są probabilistyczną wersją Hopfield Networks, a prace nad pogłębieniem tych modeli wymagały znacznie więcej niż sieci Hopfield: maszyny Deep Boltzmann, sieci Deep Belief i modele głębokiej energii. Hinton jest naprawdę facetem, którego chcesz przeczytać, aby dowiedzieć się o tych modelach, ale możesz rzucić okiem na ten artykuł, który porównuje trzy modele.

Nie jestem pewien co do organizacji Gestalt. Chyba zostawię to twojej interpretacji.