Dlaczego głębokie sieci neuronowe i głębokie uczenie się nie wystarczają do osiągnięcia ogólnej inteligencji?

11

Wszystko, co dotyczy sieci Deep Learning (DL) i deep (er), wydaje się „udane”, przynajmniej postępuje bardzo szybko i kultywuje przekonanie, że AGI jest w zasięgu ręki. To popularna wyobraźnia. DL to ogromne narzędzie do rozwiązywania tak wielu problemów, w tym tworzenia AGI. To jednak nie wystarczy. Narzędzie jest niezbędnym składnikiem, ale często niewystarczającym.

Czołowe postacie w tej dziedzinie szukają gdzie indziej, aby zrobić postęp. Ten raport / roszczenie gromadzi linki do oświadczeń Yoshua Bengio , Yanna LeCuna i Geoffa Hintona . Raport wyjaśnia również:

Główne słabości DL (jak je widzę) to: poleganie na najprostszych możliwych neuronach modelowych („kreskówkowych”, jak je nazywa LeCun); wykorzystanie pomysłów z XIX-wiecznej mechaniki statystycznej i statystyki, które są podstawą funkcji energetycznych i metod wiarygodności logarytmicznej; oraz ich połączenie w technikach takich jak backprop i stochastic descent gradient, co prowadzi do bardzo ograniczonego reżimu aplikacji (offline, głównie partiami, nadzorowane uczenie się), wymagającym bardzo utalentowanych praktyków (aka „Stochastic Graduate Descent”), dużych ilości drogich oznaczone dane treningowe i moc obliczeniowa. Chociaż jest to idealne rozwiązanie dla dużych firm, które mogą zwabić lub kupić talent i wdrożyć nieograniczone zasoby w celu gromadzenia danych i ich niszczenia, DL nie jest po prostu niedostępny ani użyteczny dla większości z nas.

Chociaż interesujące i odpowiednie, tego rodzaju wyjaśnienia tak naprawdę nie dotyczą istoty problemu: czego brakuje?

Pytanie wydaje się szerokie, ale może wynikać z braku prostej odpowiedzi. Czy istnieje sposób na określenie, czego brakuje DL dla AGI?

Eric Platon
źródło

Odpowiedzi:

7

Każdy, kto ma do czynienia z sieciami neuronowymi, nie zauważa ważnego punktu podczas porównywania systemów z inteligencją ludzką. Człowiek zajmuje wiele miesięcy, aby zrobić wszystko zrozumiałe, nie mówiąc już o rozwiązywaniu problemów, z którymi dorośli ludzie ledwo sobie radzą. To i wielkość ludzkiego mózgu jest ogromna w porównaniu do naszych sieci neuronowych. Kierunek może być właściwy, ale skala jest daleka. Liczbę neuronów w ludzkim mózgu można dopasować pod względem pamięci, ale nie można jeszcze osiągnąć ilości równoległości do jej symulacji w czasie rzeczywistym (przynajmniej dla przypadkowego badacza). Choć trochę stary to może dać wyobrażenie o tym, jak dużo nam brakuje mocy obliczeniowej.

Cem Kalyoncu
źródło
Dziękuję za tę zwięzłą odpowiedź. Czy mówisz, że tylko rozmiar ma znaczenie dla uzyskania AGI i wyższych, tylko w przypadku technologii DL? Rozmiar ma znaczenie, ale prawdopodobnie czegoś jeszcze brakuje. (Każda gra słów w tym punkcie jest całkowicie zamierzona).
Eric Platon
1
Rozważmy na przykład automaty komórkowe a la Wolfram. Bardzo prosty, ale prowadzący do zaskakującej złożoności.
Eric Platon
Czy obliczenia kwantowe, niezależnie od formy, jaką ostatecznie mogą przyjąć, są jednym z proponowanych rozwiązań tego problemu przetwarzania?
DukeZhou
Przetwarzanie kwantowe można wykorzystać do podjęcia decyzji w określonym punkcie, ale nie można go wykorzystać do symulacji ciągłego przepływu, jak w ludzkim mózgu. Po zaobserwowaniu układu fala kwantowa zapada się, redukując go do zasadniczo wolnego układu sekwencyjnego.
Cem Kalyoncu
1
@CemKalyoncu Rzeczywiście. Ale słoń ma prawie 3 razy więcej niż ludzie . Argument dotyczący wielkości ma znaczenie, ale sam rozmiar nie wydaje się wystarczający.
Eric Platon
6

Głębokie uczenie się odnosi największe sukcesy w uczeniu nadzorowanym, podczas gdy mózg buduje kategorie głównie w sposób nienadzorowany. Nie wiemy jeszcze, jak to zrobić. ( Spójrz na mózg Google : 16 000 rdzeni i wszystko, co można zrobić, to rozpoznawać koty i ludzkie twarze z dość fatalną dokładnością.)

Głębokie uczenie się wykorzystuje wysoce nieustrukturyzowane aktywacje, tj. Reprezentacje wysokiego poziomu „psa” i „kota” w klasyfikatorze sieci neuronowej wcale nie muszą być podobne. Z drugiej strony mózg wykorzystuje neurony hamujące do tworzenia rzadkich rozproszonych reprezentacji, które rozkładają się na ich aspekty semantyczne. Jest to prawdopodobnie ważne dla abstrakcji i rozumowania przez analogię.

Mózg ma wiele różnych części, które współpracują ze sobą. Badacze zajmujący się głębokim uczeniem dopiero zaczynają integrować mechanizmy pamięci lub uwagi ze swoją architekturą.

Mózg integruje informacje z wielu różnych zmysłów. Większość aplikacji do głębokiego uczenia się używa tylko jednego rodzaju danych wejściowych, takich jak tekst lub obrazy.

Mózg jest w stanie modelować sekwencje jako kategorie. (Zasadniczo każdy czasownik nazywa kategorię sekwencyjną (tj. Czasową).) Może następnie uporządkować te kategorie w długoterminowe plany hierarchiczne. Do tej pory nie widziałem niczego w tym kierunku w Deep Learning.

Również sieci neuronowe nie mogą jeszcze działać na taką samą skalę jak ludzki mózg. Jeśli spojrzysz na odpowiedzi na to pytanie , ludzki mózg będzie wyprzedzał liczbę neuronów przez kolejne kilkadziesiąt lat. Sieć neuronowa może nie potrzebować takiej samej liczby neuronów jak mózg, aby osiągnąć podobną wydajność (z powodu wyższej dokładności), ale na przykład obecnie przetwarzanie wideo jest nadal dość ograniczone pod względem wejścia i przepustowości.

BlindKungFuMaster
źródło
Również tutaj interesujące punkty, dziękuję. Obawiam się tutaj, że jest to kontrastujący proces ([głębokie] uczenie się)) i struktura (sieci lub mózgu). Jeśli ten trend jest prawidłowy, AGI jest tylko kwestią czasu opartą na tym, co mamy. Wspominasz o problemach semantycznych w głębokich sieciach, prawdopodobnie najlepiej oglądanych w modelach przeciwnych. Oznacza to, że czegoś brakuje, i jest jednym z najlepszych argumentów w tej odpowiedzi. Rozumiem, że obecne struktury są niewystarczające (tj. Wczesne modele pamięci). Jednak pośrednio rozwiązuje to problem „dlaczego”. Czy widzisz sposoby dopracowania swojej odpowiedzi?
Eric Platon
Czy ostatnie podejścia „tylko optyczne” do gry ML są próbą uwolnienia się od nadzorowanego uczenia się?
DukeZhou
@DukeZhou: Myślę, że techniki RL mogą odgrywać rolę w uczeniu się bez nadzoru, ale teraz wydaje mi się, że RL jeszcze nie uczy się koncepcji na wysokim poziomie.
BlindKungFuMaster
1
@EricPlaton: Nie jestem pewien, czy rozumiem twój komentarz. Moim zdaniem brakuje 1. struktury i 2. skali. I oczywiście algorytmy, ale są one powiązane ze strukturą.
BlindKungFuMaster
3

IMHO pierwszą przeszkodą jest skala : nawet największy DNN Google'a nie zbliża się do skali mózgu, a nawet kilka razy rzędu wielkości ...

Szczery
źródło
2

Myślę, że wciąż brakuje aspektów, które tworzą ludzki mózg; mając wiele różnych sieci współpracujących ze sobą.

Podobnie jak medytacja poprawia zdolności poznawcze, ponieważ mózg działa bardziej synergicznie, możemy zastosować to również do maszyn.

Na przykład Google uczy się marzeń komputerowych, tak jak my, aby wzmocnić to, czego już się nauczyliśmy. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

A oto pathnet, sieć neuronowa. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Stworzenie tych wszystkich mechanizmów i złożenie ich razem, z wystarczającą mocą i zbliżymy się bardzo blisko!

Alexander
źródło
Czy możesz wyjaśnić, co to jest „to”? Może to być proces głębokiego uczenia się lub równie głębokie sieci. Te są różne.
Eric Platon
1
Oba, ale głównie ze względu na współpracę głębokich sieci neuronowych, spekuluję, że DNN powinien mieć również dobre cechy plastyczności neuronowej. Ale jest to coś, na czym moglibyśmy tylko dotknąć podstaw, nawet nie wiemy nawet, jak dokładnie działa ludzki mózg
Alexander
1

Zwolennicy sztucznej inteligencji koncentrują się dziś na problemie obliczalności - zdolności szybkiego rozwiązywania złożonych problemów. Wierzę, że jakikolwiek sukces w tym kierunku nie doprowadzi do ludzkiej (ogólnej) inteligencji, chociaż z pewnością przewyższy ludzi w niektórych dziedzinach. Zamiast tego należy dążyć do zbadania, jakie zdarzenia neurologiczne wywołują sensację (doświadczenie kwaliów). Oczywiście jest to trudny problem filozofii, ale uważam, że jest to unikalny klucz do ogólnej inteligencji i jej możliwości. W tym celu należy rozwinąć inżynierię odwrotną, a także teorie, które można przetestować.

użytkownik415738
źródło
1
Quaila może być interesującą cechą dla maszyn (zwłaszcza jeśli chcemy, aby ludzie dawali prawa do tych maszyn), ale poza tym, że sama quaila jest bardzo trudnym problemem w filozofii, istnieją dwie główne kwestie. (A) sama inteligencja może nie wymagać przepiórki, możesz być mądry, nie będąc w stanie doświadczyć subiektywnych wrażeń z pierwszej osoby ... filozoficznego zombie.
Left SE w dniu 10_6_19,
(B) Przemysł dba tylko o szybkie rozwiązywanie złożonych problemów i tak naprawdę nie martwi się, czy wspomniana szybka maszyna może myśleć lub czuć. AGI jest pożądane tylko w takim zakresie, w jakim mogłoby szybko rozwiązać złożone problemy ... inteligencja jest tylko środkiem do celu. (W rzeczywistości przemysł może nie chcieć maszyny do myślenia i odczuwania, ponieważ takie maszyny mogą zasługiwać na prawa ... a prawa są trochę jak regulacje, ograniczające to, co firma może zrobić z ich narzędziem.)
Left SE 10_6_19,