Jakie są krytyki dotyczące wydajności HTM?

Niedawno dowiedziałem się o istnieniu tej hierarchicznej pamięci czasowej (HTM) . Przeczytałem już dokument Hierarchical Temporal Memory: Concepts, Theory and Terminology (autorstwa Jeffa Hawkinsa i Dileepa George'a), który wydaje się raczej łatwy do zrozumienia, ale jedną czerwoną flagą jest to, że dokument nie jest recenzowany ani nie próbuje wyjaśnić, dlaczego powinien pracować w szczegółach.

Próbowałem rozejrzeć się za niezależnymi źródłami. Znalazłem kilka artykułów, które porównują jego działanie z innymi, ale żaden nie wyjaśnia, dlaczego działa dobrze (lub nie). Zauważyłem kilka komentarzy, w których twierdził, że został odrzucony przez głównego nurta eksperta, ale nie byłem w stanie znaleźć żadnej faktycznej krytyki.

Jakie są krytyki dotyczące wydajności HTM? Ponieważ HTM ma być ogólna, każda krytyka związana z domeną powinna być związana z bardziej podstawowym problemem.

Ponadto istnieje ogromna ilość danych treningowych do wykorzystania, wystarczająca nawet na wielomiesięczną sesję treningową. Zasadniczo wszelkie uwagi dotyczące wielkości lub długości szkolenia nie są istotne.

Krytyki przeciwko Jeffowi Hawkinsowi są dobrze streszczone w następującym eseju z http://www.theregister.co.uk/2014/03/29/hawkins_ai_feature/

Sam wierzę, że teoria HTM ma ogromny potencjał i będzie podstawą prawdziwej inteligencji maszynowej. Firma IBM niedawno ogłosiła, że ​​poprze teorię HTM i uruchomiła Cortical Learning Center, w tym około stu członków.

http://www.technologyreview.com/news/536326/ibm-tests-mobile-computing-pioneers-controversial-brain-algorithms/

Jak wskazano w eseju, Dillep George, współzałożyciel Numenta, stworzył startup Vicarious, który przyciągnął ogromną ilość funduszy, z czego fakt sugeruje potencjał teorii HTM.

Źródło: Krytyka przeciwko Jeffowi Hawkinsowi , The Register

Wydaje się, że jego podejście do mediów, pewne siebie, wzbudziło złe przeczucia wśród innych naukowców, którzy słusznie wskazują, że Hawkins nie opublikował szeroko, ani nie wynalazł wielu pomysłów na własną rękę.

Numenta również miał problemy, częściowo z powodu idiosynkratycznego poglądu Hawkinsa na temat działania mózgu.

Na przykład w 2010 r. Współzałożyciel Numenta Dileep George odszedł, aby założyć własną firmę Vicarious, aby zebrać trochę nisko wiszące owoce w obiecującej dziedzinie sztucznej inteligencji. Z tego, co rozumiemy, ta polubowna separacja wynikała z różnicy zdań między George'em a Hawkinsem, gdy George dążył do bardziej matematycznego podejścia, a Hawkins do bardziej biologicznego.

Hawkins również przyszedł na odrobinę inteligencji. Profesor psychologii z Nowego Jorku Gary Marcus odrzucił podejście Numenta w artykule z New Yorkera, którego nagłówek napisał Steamroll w Big Data.

Inni naukowcy El Reg, z którymi przeprowadzono wywiad w tym artykule, nie chcieli być cytowani, ponieważ uważali, że brak recenzowanych artykułów Hawkinsa w połączeniu z jego przedsiębiorczą osobowością zmniejszyły wiarygodność całego jego podejścia.

Hawkins odpiera te krytyki i wierzy, że sprowadzają się do różnicy zdań między nim a inteligencją AI.

„Są to złożone systemy biologiczne, które nie zostały zaprojektowane według zasad matematycznych, które bardzo trudno jest całkowicie sformalizować” - powiedział nam.

Przez jakiś czas studiowałem HTM. To trochę fajne. Domyślne zachowanie HTM polega na analizie danych czasowych. Z drugiej strony, w dzisiejszych czasach potrzebujesz „fantazyjnej” sieci neuronowej (np. Rekurencyjnej sieci neuronowej), aby modelować problem sekwencji po sekwencji (np. Chatbot). Ale HTM można oczywiście zastosować do tego rodzaju problemów!

Planuję stworzyć z nim coś w rodzaju telewizji interaktywnej z danymi sterującymi przesyłanymi wraz z danymi wizualnymi, a następnie ograniczyć dane wizualne do danych sterujących (jest to możliwe, ale nie spodziewaj się, że nagle zacznie marzyć o nowym filmie, to się nie zdarza). Ale muszę powiedzieć, że najfajniejszą rzeczą w tym jest to, że wideo, którego uczysz, nie pojawi się podczas odtwarzania, a raczej pokaże najbardziej typową wersję, która jest formą zrozumienia i faktycznie sprawia, że ​​jest naprawdę chłodny. To trochę jak sen, który z niego wychodzisz.

Jeśli używasz HTM z tekstem,

1. przechowuje listy,
2. następnie tworzy sylaby.
3. wtedy bierze te sylaby i wytwarza z nich pospolitość,
4. następnie formułuje słowa ze wspólnych sylab,
5. bierze te słowa i określa, co mają ze sobą wspólnego,
6. wtedy tworzy prawdopodobnie większe słowa,
7. następnie tworzy grupy słów,
8. następnie tworzy grupy zdań

Tak więc, za każdym razem, gdy idzie o poziom, trochę „zapomina”, aby być może bardziej zagłębić się w grupy. Te ściślej zakorzenione grupy będą odtwarzane nieco inaczej niż odtwarzane na nich nagrania. A odtwarzania tego nie widziało wiele osób.

Zastanawiam się, czy wymyśli całkowicie własne zdania.

Sprawia, że ​​zdanie rośnie nieco wolniej, znacznie lepiej. To o wiele trudniejsza praca niż nie zapominanie o niczym i zwykłe odtwarzanie płyty. Powiedziałbym, że im wolniej rośnie twoje zdanie, tym lepiej to zrobiłeś, więc jeśli istnieje jakiś inny sposób na znalezienie typowości, powinieneś to zrobić.