Czego możemy się nauczyć o ludzkim mózgu ze sztucznych sieci neuronowych?

Wiem, że moje pytanie / tytuł nie jest zbyt szczegółowe, dlatego postaram się je wyjaśnić:

Sztuczne sieci neuronowe mają stosunkowo ścisłe konstrukcje. Oczywiście na ogół mają na nie wpływ biologia i próbują zbudować matematyczny model prawdziwych sieci neuronowych, ale nasze zrozumienie prawdziwych sieci neuronowych jest niewystarczające do zbudowania dokładnych modeli. Dlatego nie możemy wyobrazić sobie dokładnych modeli ani niczego, co zbliży się do „prawdziwych” sieci neuronowych.

O ile mi wiadomo, wszystkie sztuczne sieci neuronowe są dalekie od prawdziwych sieci neuronowych. Standardowe, klasyczne w pełni połączone MLP nie występują w biologii. Nawracającym sieciom neuronowym brakuje prawdziwej neuroplastyczności, każdy neuron RNN ma tę samą „architekturę sprzężenia zwrotnego”, podczas gdy prawdziwe neurony zapisują i dzielą się informacjami raczej indywidualnie. Konwolucyjne sieci neuronowe są skuteczne i popularne, ale (na przykład) przetwarzanie obrazu w ludzkim mózgu składa się tylko z kilku warstw splotu, podczas gdy nowoczesne rozwiązania (takie jak GoogLeNet) wykorzystują już dziesiątki warstw ... i chociaż dają świetne wyniki dla komputerów , nie są nawet zbliżone do ludzkich osiągnięć. Zwłaszcza, gdy myślimy o „wydajności na warstwę”, ponieważ potrzebujemy dość dużej liczby warstw i redukcji danych w porównaniu do prawdziwych sieci neuronowych.

Dodatkowo, o ile mi wiadomo, nawet modułowe, samorozszerzające się / samoregenerujące sztuczne sieci neuronowe są raczej „stałe i statyczne” w porównaniu z ogromną zdolnością adaptacyjną prawdziwych sieci neuronowych. Biologiczny neuron zwykle ma tysiące dendrytów łączących neuron z ogromną różnorodnością różnych obszarów i innych neuronów. Sztuczne sieci neuronowe są o wiele bardziej „proste”.

Czy jest więc coś, czego możemy dowiedzieć się o ludzkim mózgu / prawdziwych sieciach neuronowych ze sztucznych sieci neuronowych? A może to tylko próba stworzenia oprogramowania, które działa lepiej niż klasyczne, statyczne algorytmy (a nawet robi rzeczy, w których takie algorytmy zawodzą)?

Czy ktoś może dostarczyć (najlepiej naukowe) źródła na ten temat?

EDYCJA: Więcej odpowiedzi jest bardzo cenionych (:

Jak wspomniałeś, większość sieci neuronowych opiera się na ogólnych prostych abstrakcjach mózgu. Nie tylko brakuje im naśladowania charakterystycznych cech, takich jak plastyczność, ale nie uwzględniają sygnałów i czasu tak jak robią to prawdziwe neurony.

Jest dość niedawny wywiad, który moim zdaniem jest odpowiedni dla twojego konkretnego pytania, Maestro uczenia się maszyn Michaela Jordana na temat złudzeń Big Data i innych ogromnych wysiłków inżynieryjnych , i cytuję:

Ale prawdą jest, że w przypadku neuronauki potrzeba dziesięcioleci, a nawet setek lat, aby zrozumieć głębokie zasady. Postęp jest na najniższych poziomach neuronauki. Ale w kwestiach wyższego poznania - jak postrzegamy, jak pamiętamy, jak działamy - nie mamy pojęcia, w jaki sposób neurony przechowują informacje, jak obliczają, jakie są reguły, jakie są algorytmy, jakie są reprezentacje i jak. Nie jesteśmy jeszcze w erze, w której możemy wykorzystywać rozumienie mózgu, aby prowadzić nas w budowie inteligentnych systemów.

Do tej pory niewiele dowiedziałem się o funkcjonowaniu mózgu ze sztucznych sieci neuronowych. [Wyjaśnienie: Napisałem tę odpowiedź, myśląc o sieciach neuronowych wykorzystywanych w uczeniu maszynowym; @MattKrause (+1) ma rację, że modele sieci neuronowych niektórych biologicznych zjawisk neuronowych mogą być pomocne w wielu przypadkach.] Być może jest to jednak częściowo spowodowane faktem, że badania nad sztucznymi sieciami neuronowymi w uczeniu maszynowym były mniej więcej stagnacja aż do około 2006 roku, kiedy Geoffrey Hinton niemal samotnie ożywił całe pole, które do tej pory przyciąga miliardy dolarów.

W wykładzie Google z 2012 r. Zatytułowanym Brains, Sex and Machine Learning (od 45:30) Hinton zasugerował, że sztuczne sieci neuronowe mogą dać wskazówkę, dlaczego [większość] neuronów komunikuje się z impulsami, a nie z sygnałami analogowymi. Mianowicie sugeruje, aby postrzegać wzrosty jako strategię regularyzacji podobną do rezygnacji. Upadek to niedawno opracowany sposób zapobiegania nadmiernemu dopasowaniu, gdy tylko jeden podzbiór wag jest aktualizowany na każdym danym kroku spadku gradientu (patrz Srivastava i in. 2014 ). Najwyraźniej może działać bardzo dobrze, a Hinton uważa, że ​​być może kolce (tj. Większość neuronów milczy w danym momencie) służą temu samemu celowi.

Pracuję w instytucie badawczym neuronauki i nie znam tu nikogo, kto byłby przekonany argumentem Hintona. Jury wciąż nie działa (i prawdopodobnie nie będzie go już przez dłuższy czas), ale przynajmniej jest to przykład czegoś, czego sztuczne sieci neuronowe mogłyby potencjalnie nauczyć nas o funkcjonowaniu mózgu.

Z pewnością nie jest prawdą, że ludzki mózg używa tylko „kilku” warstw splotowych. Około 1/3 mózgu naczelnych jest w jakiś sposób zaangażowana w przetwarzanie informacji wizualnych. Ten schemat, autorstwa Fellemana i Van Essena, stanowi przybliżony zarys tego, jak informacja wzrokowa przepływa przez mózg małpy, zaczynając od oczu (RGC na dole) i kończąc w hipokampie, obszarze pamięci.

Każde z tych pól jest anatomicznie zdefiniowanym obszarem (mniej więcej), który zawiera kilka etapów przetwarzania (w większości przypadków rzeczywiste warstwy). Sam schemat ma 25 lat i jeśli już, dowiedzieliśmy się, że jest jeszcze kilka ramek i dużo więcej linii.

Prawdą jest, że wiele prac związanych z głębokim uczeniem się jest bardziej „niejasno zainspirowanych” przez mózg niż oparte na jakiejś podstawowej neuronowej prawdzie. „Głębokie uczenie się” ma tę dodatkową zaletę, że brzmi bardziej seksownie niż „iterowana regresja logistyczna”.

Jednak matematyczne modele sieci neuronowych również znacznie przyczyniły się do naszego zrozumienia mózgu. Z jednej strony niektóre modele starają się dokładnie naśladować znaną biologię i biofizykę. Zazwyczaj obejmują one terminy dla poszczególnych jonów i ich przepływu. Niektórzy nawet wykorzystują rekonstrukcje 3D prawdziwych neuronów, aby ograniczyć ich kształt. Jeśli Cię to interesuje, ModelDB ma dużą kolekcję modeli i powiązanych publikacji. Wiele z nich jest wdrażanych przy użyciu bezpłatnego oprogramowania NEURON .

Istnieją modele na większą skalę, które próbują naśladować pewne efekty behawioralne lub neurofizjologiczne, nie martwiąc się zbytnio o leżącą u ich podstaw biofizykę. Modele łączenia lub przetwarzania równoległego rozproszonego, które były szczególnie popularne pod koniec lat 80. i 90. XX wieku i używały modeli podobnych do tych, które można znaleźć w obecnej aplikacji do uczenia maszynowego (np. Bez biofizyki, prostych funkcji aktywacyjnych i stereotypowej łączności), aby wyjaśnić różne procesy psychologiczne. Te nieco przestały być modne, choć można się zastanawiać, czy mogą powrócić teraz, gdy mamy mocniejsze komputery i lepsze strategie treningowe. (Zobacz edycję poniżej!)

Wreszcie, gdzieś pośrodku jest dużo pracy, która obejmuje pewną „fenomenologię” plus pewne szczegóły biologiczne (np. Wyraźnie hamujący termin o pewnych właściwościach, ale bez dopasowania dokładnego rozkładu kanałów chlorkowych). Wiele bieżących prac pasuje do tej kategorii, np. Prace Xiao Jing Wanga (i wielu innych ....)

EDYCJA : Odkąd to napisałem, wybuchła praca porównująca (rzeczywisty) system wizualny z głębokimi sieciami neuronowymi przeszkolonymi w zakresie zadań rozpoznawania obiektów. Istnieje kilka zaskakujących podobieństw. Jądra w pierwszych warstwach sieci neuronowej są bardzo podobne do jąder / pól recepcyjnych w pierwotnej korze wzrokowej, a kolejne warstwy przypominają pola recepcyjne w wyższych obszarach wizualnych (patrz na przykład praca Nikolausa Kriegeskorte ). Ponowne szkolenie sieci neuronowych może powodować podobne zmiany, co w przypadku intensywnego treningu behawioralnego (Wenliang i Seitz, 2018) . DNN i ludzie czasami - ale nie zawsze - popełniają podobne wzorce błędów.

W tej chwili wciąż nie jest jasne, czy odzwierciedla to podobieństwo między rzeczywistymi i sztucznymi sieciami neuronowymi w ogóle, coś konkretnie na obrazach [*], czy też tendencję sieci neuronowych wszystkich pasków do znajdowania wzorów, nawet gdy ich nie ma. Niemniej jednak porównywanie obu stało się coraz gorętszym obszarem badań i wydaje się prawdopodobne, że czegoś się z tego nauczymy.

* Na przykład reprezentacja zastosowana we wczesnym systemie wizualnym / pierwszych warstwach CNN stanowi optymalną rzadką podstawę dla naturalnych obrazów.

Tym, czego naprawdę się nauczyliśmy, jest użycie rzadkiej aktywacji i zastosowanie liniowych rektyfikowanych funkcji aktywacyjnych. Później jest w zasadzie jeden z powodów, dla których zaobserwowaliśmy eksplozję aktywności związanej z tak zwaną siecią neuronową, ponieważ użycie tego rodzaju funkcji aktywacyjnych spowodowało radykalne odtłuszczenie wyników treningów dla tych sztucznych sieci obliczeniowych, które nazywamy sieciami neuronowymi.

Dowiedzieliśmy się, dlaczego synapsy i neurony są budowane w ten sposób i dlaczego jest to preferowane. Te liniowe rektyfikowane aktywacje (f (x): = x> a? X: 0) skutkują rzadką aktywacją (tylko kilka „neuronów” (wag)) zostaje aktywowanych.

Tak więc, co robimy, gdy nasza wiedza rozciąga się na funkcje biologiczne, rozumiemy, dlaczego została wybrana i preferowana przez ewolucję. Rozumiemy, że systemy te są wystarczające, ale także stabilne pod względem kontroli błędów podczas treningu, a także chronią zasoby, takie jak energia i zasoby chemiczne / biologiczne w mózgu.

Po prostu rozumiemy, dlaczego mózg jest tym, czym jest. Również poprzez szkolenie i spojrzenie na strategie, które rozumiemy na temat możliwego przepływu informacji i związanego z nimi przetwarzania informacji, pomagając nam konstruować i oceniać hipotezy dotyczące samych tematów.

Na przykład coś, co pamiętam sprzed dekady, to szkolenie z systemu nauki naturalnego języka mówionego, a odkrycie to sprawiło, że system wykazał podobne problemy, które przypominają analogiczne zachowanie dzieci uczących się mówić w danym języku. Nawet różnice między uczeniem się różnych rodzajów języków były wystarczająco podobne.

Tak więc, badając to podejście i projekt, stwierdzono, że przetwarzanie informacji przez człowieka podczas nauki języków jest na tyle podobne, aby sformułować zalecenia dotyczące szkolenia i leczenia problemów związanych z językiem, że pomogło to w pomocy i zrozumieniu trudności ludzi oraz w opracowaniu bardziej skutecznego leczenia (co kiedykolwiek z tego naprawdę sprawiło, że w praktyce to kolejne pytanie).

Miesiąc temu przeczytałem artykuł o tym, jak naprawdę działa nawigacja 3D i zapamiętywanie mózgów szczurów, a dzięki tworzeniu modeli obliczeniowych o każdym znalezieniu było to bardzo pomocne w zrozumieniu, co naprawdę się dzieje. Tak więc sztuczny model wypełnił puste miejsca tego, co zaobserwowano w układzie biologicznym.

Naprawdę mnie zadziwiło, gdy dowiedziałem się, że neurologowie używają języka, który bardziej przypomina inżyniera niż biologa mówiącego o obwodach, przepływie informacji i logicznych jednostkach przetwarzania.

Uczymy się więc dużo od sztucznych sieci neuronowych, ponieważ daje nam ono empiryczne podstawy do zabawy, z których możemy czerpać reguły i pewność, że architektura mózgu jest tym, czym jest, a także dlaczego ewolucja woli to od alternatywnych sposobów.

Wciąż jest wiele pustych miejsc, ale z tego, co przeczytałem - niedawno dostałem się do CNN itp., Ale miałem sztuczną sztuczną inteligencję, logikę rozmytą i sieci neuronowe w czasie studiów na początku 2000 roku.

Miałem więc do czynienia z dekadą rozwoju i odkryć, które zaowocowały wdzięcznością dla wszystkich naukowców i praktyków sieci neuronowej i pola AI. Dobra robota, naprawdę dobra robota!