Krótka odpowiedź brzmi, że wizja Hawkinsa musi jeszcze zostać wdrożona w sposób powszechnie dostępny, w szczególności niezbędne części związane z prognozowaniem.
Długa odpowiedź brzmi: przeczytałem książkę Hawkinsa kilka lat temu i byłem podekscytowany możliwościami Hierarchical Temporal Memory (HTM). Nadal jestem, mimo że mam kilka zastrzeżeń do niektórych jego filozoficznych rozważań na temat znaczenia świadomości, wolnej woli i innych podobnych tematów. Nie będę tutaj rozwodził się nad tymi obawami, ponieważ nie są one związane z głównym, przytłaczającym powodem, dla którego sieci HTM nie odniosły dotychczas oczekiwanego sukcesu: o ile wiem, Numenta wdrożył jedynie okrojoną wersję swojej wizji. Pominęli większość architektury prognozowania, która odgrywa tak istotną rolę w teoriach Hawkinsa. Jak Gerod M. Bonhoff napisał w doskonałej pracy magisterskiej 1 na temat HTM,
Najważniejszą decyzją projektową przyjętą przez Numenta było wyeliminowanie sprzężenia zwrotnego w hierarchii i zamiast tego wybranie symulacji tej teoretycznej koncepcji przy użyciu tylko algorytmów puli danych do ważenia. Ta decyzja jest od razu podejrzana i narusza kluczowe koncepcje HTM. Hawkins twierdzi, że sprzężenie zwrotne ma kluczowe znaczenie dla funkcji korowej i ma kluczowe znaczenie dla jego teorii. Mimo to Numenta twierdzi, że większość problemów związanych z HTM można rozwiązać za pomocą ich implementacji i zastrzeżonych algorytmów łączenia ”.
Wciąż uczę się lin na tym polu i nie mogę powiedzieć, czy od tego czasu Numenta zrezygnowała z tego podejścia na rzecz pełnego wdrożenia pomysłów Hawkinsa, a zwłaszcza najważniejszej architektury prognozowania. Nawet jeśli tak, ta decyzja projektowa prawdopodobnie opóźniła przyjęcie o wiele lat. To nie jest krytyka per se; być może koszty obliczeniowe śledzenia wartości prognoz i aktualizacji ich w locie były zbyt duże, aby je znieść w tym czasie, poza zwykłymi kosztami przetwarzania sieci neuronowych, nie pozostawiając im żadnej innej ścieżki, jak tylko spróbować półśrodków, takich jak ich zastrzeżona pula mechanizmy Niemniej jednak wszystkie najlepsze artykuły badawcze, które czytałem na ten temat od tego czasu, postanowiły zaimplementować algorytmy zamiast polegać na platformie Numenta, zwykle z powodu brakujących funkcji prognozowania.Raport techniczny Maltoni dla Laboratorium Systemu Biometrycznego Uniwersytetu w Bolonii 2 . We wszystkich tych przypadkach nie ma jednak łatwo dostępnego oprogramowania do natychmiastowego użycia ich wariantów HTM (o ile mi wiadomo). Istotą tego wszystkiego jest to, że podobnie jak słynna maksyma GK Chestertona o chrześcijaństwie: „HTM nie zostały wypróbowane i uznano, że nie chcą; uznano je za trudne i pozostawiono bez wypróbowania”. Ponieważ Numenta pominęło etapy przewidywania, zakładam, że będą to główne przeszkody czekające na każdego, kto chce zakodować pełną wizję Hawkinsa dotyczącą tego, czym powinien być HTM.
1 Bonhoff, Gerod M., 2008, Używanie hierarchicznej pamięci czasowej do wykrywania nieprawidłowej aktywności sieci. Prezentowane w marcu 2008 r. W Air Force Institute of Technology, Wright-Patterson Air Force Base, Ohio.
2 Maltoni, Davide, 2011, Rozpoznawanie wzorców przez hierarchiczną pamięć czasową. Raport techniczny DEIS opublikowany 13 kwietnia 2011 r. Laboratorium Systemu Biometrycznego Uniwersytetu w Bolonii: Bolonia, Włochy.
10 lat do produkcji gotowy?
Spójrzmy na to z perspektywy. Perceptron został wprowadzony w 1957 roku. Tak naprawdę nie zaczął kwitnąć jako użyteczny model do czasu wydania książek PDP w 1986 roku. Dla tych, którzy zachowali wynik: 29 lat.
Z książek PDP nie widzieliśmy, że opracowano je jako użyteczne głębokie sieci aż do ostatniej dekady. Jeśli weźmiesz zadanie rozpoznawania kotów Andrew Ng i Jeffa Deana jako wydarzenie definiujące głęboką sieć, które odbędzie się w 2012 r. Prawdopodobnie ponad 25 lat jest gotowy do produkcji.
https://en.wikipedia.org/wiki/Timeline_of_machine_learning
źródło