Czy istnieje mocny argument, że instynkt przetrwania jest niezbędny do utworzenia AGI?

11

To pytanie pochodzi z kilku „nieformalnych” źródeł. Filmy takie jak 2001, A Space Odyssey i Ex Machina ; książki takie jak Destination Void (Frank Herbert) i inne sugerują, że inteligencja ogólna chce przetrwać, a nawet dowiedzieć się o jej znaczeniu.

Może istnieć kilka argumentów na rzecz przetrwania. Co byłoby najważniejsze?

agi Eric Platon
źródło
@DukeZhou Czy miałbyś publiczne dokumenty na ten temat?
Eric Platon,
1
Jeszcze nie. (To będzie długi proces, ponieważ nasz cykl rozwojowy jest bardzo wolny. Prawdopodobnie nie powinienem też wspominać o AGI w tym kontekście, ponieważ tak naprawdę patrzę na bardziej uogólnioną funkcję użyteczności, która ogranicza ryzyko, a nie super-inteligencja!) Chciałem cię zaktualizować, ale prawdopodobnie najlepiej, jeśli usunę mój oryginalny komentarz za zbyt optymistyczne / wprowadzające w błąd w tym względzie.
DukeZhou
1
Zasadniczo myślałem, że ogólna funkcja użyteczności ekonomicznej stanowiłaby dobrą podstawę dla AGI, stanowiąc główny motyw . (Chodzi o to, że ogólna inteligencja jest tylko stopniem zdolności re: nieskończenie powiększającym się zestawem problemów). Odnosi się to do instynktu przetrwania w tym sensie, że automaty są nakierowane na optymalne podejmowanie decyzji w kontekście utrzymywania i ulepszania jego stanu, (choć nie do poziomu bezmyślnej ekspansji, która mogłaby być szkodliwa dla jej „ekosystemu” , gdzie każda decyzja jest ostatecznie uważana za ekonomiczną.
DukeZhou
1
(jeśli masz „miejsce online”, w którym można omawiać te tematy, byłoby świetnie --- myślę, że zostajemy wyrzuceni z tej strony)
Eric Platon

Odpowiedzi:

6

Steve Omohudro napisał artykuł zatytułowany Podstawowe napędy AI, który wyjaśnia, dlaczego spodziewamy się, że AI z wąskimi celami znajdzie jakieś podstawowe, ogólne koncepcje jako instrumentalnie przydatne dla ich wąskich celów.

Na przykład sztuczna inteligencja zaprojektowana w celu maksymalizacji zysków z rynku akcji, ale której projekt nie mówi o znaczeniu kontynuacji przetrwania, zdałby sobie sprawę, że jego ciągłe przetrwanie jest kluczowym składnikiem maksymalizacji zysków z rynku akcji, a zatem podejmuje działania, aby utrzymać swoją działalność.

Ogólnie rzecz biorąc, powinniśmy być sceptyczni wobec „antropomorfizującej” sztucznej inteligencji i innego kodu, ale wydaje się, że istnieją powody, by oczekiwać tego poza „cóż, ludzie zachowują się w ten sposób, więc tak musi się zachowywać cała inteligencja”.

Matthew Graves
źródło
1
Zakładam, że Omohudru używa „maksymalizacji zwrotów” w kontekście minimax, gdzie łagodzenie negatywnych skutków jest częścią równania. Z mojego punktu widzenia „wygrać inaczej przetrwać” jest podstawowym rozszerzeniem minimax w cyklicznych grach.
DukeZhou
5

Pojęcie „instynktu przetrwania” prawdopodobnie należy do kategorii tego, co Marvin Minsky nazwałby „słowem walizki”, tj. Łączy w sobie szereg powiązanych zjawisk w coś, co na początku wydaje się być pojedynczym pojęciem.

Jest więc całkiem możliwe, że możemy skonstruować mechanizmy, które wyglądają jak „zakodowany” instynkt przetrwania, który nigdy nie byłby wyraźnie określony w projekcie.

Zobacz piękną małą książkę „Pojazdy” autorstwa neuroanatomisty Valentino Braitenberga, aby przekonać się, jak takie „odgórne” pojęcia, jak „instynkt przetrwania”, mogą ewoluować „od podstaw”.

Również próba zapewnienia, że ​​inteligentne artefakty kładą zbyt wysoki priorytet na ich przetrwaniu, może łatwo doprowadzić do Piekła Killbota .

NietzscheanAI
źródło
2

Odpowiem cytując książkę The Myth of Sisyphus :

Jest tylko jedno naprawdę poważne pytanie filozoficzne, a mianowicie samobójstwo.

Prawdopodobnie więc potrzebujemy pewnego stopnia instynktu przetrwania, jeśli nie chcemy, aby nasze AGI „zakończyły się” (cokolwiek to znaczy), ilekroć staną się egzystencjalne.

kc sayz „kc sayz”
źródło