Czy maszyna Boltzmann może przechowywać więcej wzorów niż siatka Hopfield?

_{Pochodzi z zamkniętej wersji beta AI, z tym pytaniem wysłanym przez użytkownika o numerze 47. Wszystkie podziękowania dla nich.}

Według Wikipedii ,

Maszyny Boltzmanna można postrzegać jako stochastyczny, generatywny odpowiednik sieci Hopfield.

Obie są rekurencyjnymi sieciami neuronowymi, które można wyszkolić w zakresie uczenia się wzorów bitowych. Następnie, gdy zostanie przedstawiony częściowy wzór, sieć odzyska pełny pełny wzór.

Udowodniono, że sieci Hopfield mają pojemność 0,138 (np. Około 138 wektorów bitowych można przywołać z pamięci dla każdego 1000 węzłów, Hertz 1991).

Ponieważ maszyna Boltzmanna jest stochastyczna, rozumiem, że niekoniecznie zawsze pokazywałaby ten sam wzór, gdy różnica energii między jednym przechowywanym wzorem a drugim jest podobna. Ale z powodu tej stochastyczności może to umożliwia gęstsze przechowywanie wzoru, ale bez gwarancji, że zawsze otrzymasz „najbliższy” wzór pod względem różnicy energii. Czy to prawda? A może sieć Hopfield byłaby w stanie przechowywać więcej wzorów?

Rzeczywiście, twoja intuicja ma rację, maszyna Boltzmanna jest w stanie utrzymać w pamięci więcej niż sieć Hopfielda ze względu na jej stochastyczną naturę opisaną w tym artykule. W dokumencie zauważają, że pojemność wynosi około 0,6. Po tym stosunku zaczyna się rozkładać i dodaje znacznie więcej szumu do przywołanych wzorów.