Wszystko, co dotyczy sieci Deep Learning (DL) i deep (er), wydaje się „udane”, przynajmniej postępuje bardzo szybko i kultywuje przekonanie, że AGI jest w zasięgu ręki. To popularna wyobraźnia. DL to ogromne narzędzie do rozwiązywania tak wielu problemów, w tym tworzenia AGI. To jednak nie wystarczy. Narzędzie jest niezbędnym składnikiem, ale często niewystarczającym.
Czołowe postacie w tej dziedzinie szukają gdzie indziej, aby zrobić postęp. Ten raport / roszczenie gromadzi linki do oświadczeń Yoshua Bengio , Yanna LeCuna i Geoffa Hintona . Raport wyjaśnia również:
Główne słabości DL (jak je widzę) to: poleganie na najprostszych możliwych neuronach modelowych („kreskówkowych”, jak je nazywa LeCun); wykorzystanie pomysłów z XIX-wiecznej mechaniki statystycznej i statystyki, które są podstawą funkcji energetycznych i metod wiarygodności logarytmicznej; oraz ich połączenie w technikach takich jak backprop i stochastic descent gradient, co prowadzi do bardzo ograniczonego reżimu aplikacji (offline, głównie partiami, nadzorowane uczenie się), wymagającym bardzo utalentowanych praktyków (aka „Stochastic Graduate Descent”), dużych ilości drogich oznaczone dane treningowe i moc obliczeniowa. Chociaż jest to idealne rozwiązanie dla dużych firm, które mogą zwabić lub kupić talent i wdrożyć nieograniczone zasoby w celu gromadzenia danych i ich niszczenia, DL nie jest po prostu niedostępny ani użyteczny dla większości z nas.
Chociaż interesujące i odpowiednie, tego rodzaju wyjaśnienia tak naprawdę nie dotyczą istoty problemu: czego brakuje?
Pytanie wydaje się szerokie, ale może wynikać z braku prostej odpowiedzi. Czy istnieje sposób na określenie, czego brakuje DL dla AGI?
źródło
Odpowiedzi:
Każdy, kto ma do czynienia z sieciami neuronowymi, nie zauważa ważnego punktu podczas porównywania systemów z inteligencją ludzką. Człowiek zajmuje wiele miesięcy, aby zrobić wszystko zrozumiałe, nie mówiąc już o rozwiązywaniu problemów, z którymi dorośli ludzie ledwo sobie radzą. To i wielkość ludzkiego mózgu jest ogromna w porównaniu do naszych sieci neuronowych. Kierunek może być właściwy, ale skala jest daleka. Liczbę neuronów w ludzkim mózgu można dopasować pod względem pamięci, ale nie można jeszcze osiągnąć ilości równoległości do jej symulacji w czasie rzeczywistym (przynajmniej dla przypadkowego badacza). Choć trochę stary to może dać wyobrażenie o tym, jak dużo nam brakuje mocy obliczeniowej.
źródło
Głębokie uczenie się odnosi największe sukcesy w uczeniu nadzorowanym, podczas gdy mózg buduje kategorie głównie w sposób nienadzorowany. Nie wiemy jeszcze, jak to zrobić. ( Spójrz na mózg Google : 16 000 rdzeni i wszystko, co można zrobić, to rozpoznawać koty i ludzkie twarze z dość fatalną dokładnością.)
Głębokie uczenie się wykorzystuje wysoce nieustrukturyzowane aktywacje, tj. Reprezentacje wysokiego poziomu „psa” i „kota” w klasyfikatorze sieci neuronowej wcale nie muszą być podobne. Z drugiej strony mózg wykorzystuje neurony hamujące do tworzenia rzadkich rozproszonych reprezentacji, które rozkładają się na ich aspekty semantyczne. Jest to prawdopodobnie ważne dla abstrakcji i rozumowania przez analogię.
Mózg ma wiele różnych części, które współpracują ze sobą. Badacze zajmujący się głębokim uczeniem dopiero zaczynają integrować mechanizmy pamięci lub uwagi ze swoją architekturą.
Mózg integruje informacje z wielu różnych zmysłów. Większość aplikacji do głębokiego uczenia się używa tylko jednego rodzaju danych wejściowych, takich jak tekst lub obrazy.
Mózg jest w stanie modelować sekwencje jako kategorie. (Zasadniczo każdy czasownik nazywa kategorię sekwencyjną (tj. Czasową).) Może następnie uporządkować te kategorie w długoterminowe plany hierarchiczne. Do tej pory nie widziałem niczego w tym kierunku w Deep Learning.
Również sieci neuronowe nie mogą jeszcze działać na taką samą skalę jak ludzki mózg. Jeśli spojrzysz na odpowiedzi na to pytanie , ludzki mózg będzie wyprzedzał liczbę neuronów przez kolejne kilkadziesiąt lat. Sieć neuronowa może nie potrzebować takiej samej liczby neuronów jak mózg, aby osiągnąć podobną wydajność (z powodu wyższej dokładności), ale na przykład obecnie przetwarzanie wideo jest nadal dość ograniczone pod względem wejścia i przepustowości.
źródło
IMHO pierwszą przeszkodą jest skala : nawet największy DNN Google'a nie zbliża się do skali mózgu, a nawet kilka razy rzędu wielkości ...
źródło
Myślę, że wciąż brakuje aspektów, które tworzą ludzki mózg; mając wiele różnych sieci współpracujących ze sobą.
Podobnie jak medytacja poprawia zdolności poznawcze, ponieważ mózg działa bardziej synergicznie, możemy zastosować to również do maszyn.
Na przykład Google uczy się marzeń komputerowych, tak jak my, aby wzmocnić to, czego już się nauczyliśmy. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww
A oto pathnet, sieć neuronowa. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7
Stworzenie tych wszystkich mechanizmów i złożenie ich razem, z wystarczającą mocą i zbliżymy się bardzo blisko!
źródło
Zwolennicy sztucznej inteligencji koncentrują się dziś na problemie obliczalności - zdolności szybkiego rozwiązywania złożonych problemów. Wierzę, że jakikolwiek sukces w tym kierunku nie doprowadzi do ludzkiej (ogólnej) inteligencji, chociaż z pewnością przewyższy ludzi w niektórych dziedzinach. Zamiast tego należy dążyć do zbadania, jakie zdarzenia neurologiczne wywołują sensację (doświadczenie kwaliów). Oczywiście jest to trudny problem filozofii, ale uważam, że jest to unikalny klucz do ogólnej inteligencji i jej możliwości. W tym celu należy rozwinąć inżynierię odwrotną, a także teorie, które można przetestować.
źródło