Dlaczego AI miałaby „wymazać ludzkość”?

10

Czytam takie bzdury o tym, jak sztuczna inteligencja zmieniłaby świat w superkomputer, aby rozwiązać problem, który według niego powinien rozwiązać. To nie byłaby sztuczna inteligencja. To programowanie proceduralne utknęło w jakiś nonsens pętli. AI musiałaby ewoluować i reorganizować swoje neurony. Nie utknęłoby na twardym kodzie, gdyby stał się inteligentny, przepisując swój kod.

użytkownik3573987
źródło
Jeśli AI nie jest bardziej inteligentna od nas, to prawdopodobnie dlatego, że dla zabawy (zobacz wszystkie wymarłe gatunki, za które jesteśmy odpowiedzialni). Nie jestem jednak pewien, czy tego potrzebujemy, po prostu nas to nie obchodzi.
Trilarion

Odpowiedzi:

13

To możliwy efekt uboczny

Każdy zorientowany na cel agent może po prostu robić rzeczy, które osiągają swoje cele, ignorując skutki uboczne, które nie mają znaczenia dla tych celów.

Jeśli moje cele obejmują uporządkowaną przestrzeń życiową, mogę przekształcić swoje podwórko w ładny, płaski trawnik lub chodnik, jednocześnie niszcząc złożony ekosystem życia, który był tam wcześniej, ponieważ nie dbam o to szczególnie.

Jeśli cele konkretnej potężnej sztucznej inteligencji obejmują robienie czegokolwiek na dużą skalę i w jakiś sposób nie przejmują się szczególnie obecnym złożonym ekosystemem, wówczas ekosystem ten może zostać zniszczony. Nie musi chcieć nas usuwać. Jeśli po prostu nie jesteśmy adekwatni do jego celów, jesteśmy stworzeni z materiałów i zajmujemy przestrzeń, którą mógłby chcieć wykorzystać na coś innego.

Jesteśmy zagrożeniem dla większości celów

Każdy zorientowany na cel agent może chcieć upewnić się, że może osiągnąć swoje cele. Każdy inteligentny agent będzie próbował przewidzieć działania innych agentów, które mogą uniemożliwić im osiągnięcie tych celów, i podejmie kroki, aby zapewnić ich sukces. W wielu przypadkach łatwiej jest wyeliminować tych innych agentów niż zapewnić, że ich wysiłki się nie powiodą.

Na przykład moje cele mogą polegać na przechowywaniu torebki cukru w ​​wiejskim domu, dzięki czemu mogę robić naleśniki podczas wizyty bez przynoszenia wszystkich składników za każdym razem. Jeśli jednak zostawię go tam, szczury prawdopodobnie zjedzą je zimą. Mogę podjąć wszelkie środki ostrożności, aby lepiej go przechowywać, ale szczury są sprytne i podstępne, i oczywiście istnieje niemała szansa, że ​​i tak uda im się osiągnąć swój cel, więc skutecznym dodatkowym środkiem ostrożności jest zabicie szczurów, zanim zdobędą szansę. próbować.

Jeśli celem konkretnej potężnej AI jest zrobienie X; może dojść do zrozumienia, że ​​(niektórzy?) ludzie mogą nie chcieć X, ale Y zamiast tego. Można również łatwo wywnioskować, że niektórzy z tych ludzi mogą aktywnie robić rzeczy, które zapobiegają X i / lub próbują wyłączyć AI. Robienie rzeczy, które zapewniają osiągnięcie celu, jest prawie tym, co robi agent dążący do celu; w tym przypadku, jeśli istnienie ludzi nie jest absolutnie konieczne dla celu X, wyeliminowanie ich staje się solidną strategią redukcji ryzyka. Nie jest to absolutnie konieczne i może również podejmować wszelkiego rodzaju inne środki ostrożności, ale tak jak w moim przykładzie szczurów, ludzie są sprytni i przebiegli, a poza tym istnieje wyraźna nietrywialna szansa, że ​​uda im się osiągnąć swoje cele (aby X nie zdarzyło się tak, jak zamierza sztuczna inteligencja), więc skutecznym dodatkowym środkiem ostrożności może być ich zabicie, zanim będą mieli szansę spróbować.

Piotr jest
źródło
3
Ta doskonała odpowiedź przydałaby się, gdybym wspomniał o aktywnych badaniach nad możliwymi trybami rozpadu sztucznej inteligencji uczenia się z głębokim wzmocnieniem, w tym o tym, w jaki sposób sztuczna inteligencja DRL może osiągnąć określone cele instrumentalne sprzeczne z ludzkością. AI DRL są motywowane funkcją nagrody ; Jeśli źródło lub ilość strumienia nagrody AI jest zagrożone, AI dostosuje się odpowiednio. Ta adaptacja nie jest przewidywalna; Z punktu widzenia AI adaptacja polega na ponownym dostrojeniu szeregu parametrów jej modelu wewnętrznego, ale z naszej perspektywy może być postrzegana jako rozpoczęcie walki na śmierć i życie z ludźmi.
Iwillnotexist Idonotexist
1
@forest Cały sens historii robotów Asimova polegał na tym, że reguły nie działają (i bardziej ogólnie, że żaden zestaw reguł nie działa). Jedyną bezpieczną sztuczną inteligencją jest ta, która rozumie twoje wartości . Być może będziesz w stanie skuć sztuczną inteligencję na poziomie ludzkim, ale każdy rodzaj superinteligencji (nawet zwykły „człowiek z prędkością przetwarzania 1000x) jest z natury niebezpieczny, chyba że ma takie same wartości jak ty.” Całkiem łatwo jest zapobiec AI szkodzącej ludziom przez ustalanie twardego limitu ”jest bardzo niebezpieczną iluzją .
Luaan
1
@forest Jeśli potrafisz stworzyć system matematyczny (lub logiczny), który gwarantuje bezpieczeństwo AI zorientowanej na cel, powinieneś ją opublikować i osiągnąć wieczną chwałę. Tymczasem możesz znaleźć niektóre z filmów na youtube.com/channel/UCLB7AzTwc6VFZrBsO2ucBMg przydatne miejsce do doskonalenia swoich pomysłów.
DrMcCleod
1
@forest Być może mógłbyś zamieścić link do jednego? Byłoby świetnie.
DrMcCleod
1
@forest W tym artykule i tej dyskusji opisano ryzyko superinteligentnej sztucznej inteligencji zorientowanej na cel. Ryzyko związane z innymi formami sztucznej inteligencji (takimi jak opisywany typ) jest oczywiście bardzo różne.
DrMcCleod,
3

To niekoniecznie nonsens. Wszystko zależy od narzuconych kryteriów. Wyobraź sobie następujące. Powiedzmy, że zaawansowany system AI został zaprojektowany do kontrolowania stabilności lokalnej fauny i flory (obszar zamknięty w jakiejś kopule). Może kontrolować ciśnienie pod kopułą, ilość światła przechodzącego przez kopułę itp. - wszystko, co zapewnia optymalne warunki. Powiedzmy teraz, że kopuła jest zamieszkana przez różne gatunki, w tym ludzi. Warto zauważyć, że obecnie są już stosowane proste implementacje takich systemów.

Biorąc pod uwagę, że ludzie mają tendencję do niszczenia i wykorzystywania zasobów naturalnych, a także zanieczyszczania środowiska, system może zdecydować, że obniżenie populacji danego gatunku (w tym przypadku ludzi) może na dłuższą metę przynieść korzyści całemu biomu.

Ta sama zasada może być stosowana na całym świecie. Zakłada się jednak, że wszystkie gatunki (w tym ludzie) są traktowane jednakowo, a najwyższym celem sztucznej inteligencji jest zapewnienie stabilności biomu, o który „dba”. Ludzie robią obecnie takie rzeczy - kontrolujemy populację niektórych gatunków, aby zachować równowagę - wilki, ryby, by wymienić tylko kilka.

sebszyller
źródło
3

Wydaje mi się, że większość scenariuszy wymierania świata przez AI należy do jednej z dwóch kategorii:

  1. Antropomorfizowane AI

lub

  1. Inteligentny, ale głupi komputer

W (1) przypadku ludzie mówią, że AI staje się „złem” i przypisują im inne takie ludzkie elementy. Uważam, że jest to głównie science fiction i nie sądzę, że zasługuje na poważną dyskusję. To znaczy, nie widzę żadnego szczególnego powodu, aby zakładać, że Sztuczna Inteligencja - bez względu na to, jak inteligentna jest - musi koniecznie zachowywać się jak człowiek.

Przypadek (2) ma dla mnie większy sens. Taki jest pomysł, że AI ma na przykład kontrolę nad silosami pocisków nuklearnych i kończy wystrzeliwanie pocisków, ponieważ po prostu wykonuje swoją pracę, ale nie dostrzega czegoś, co człowiek zauważyłby za pomocą czegoś, co moglibyśmy nazwać „zdrowym rozsądkiem” „. Stąd pseudonim „Inteligentny, ale głupi”.

Żadne z nich nie wydaje mi się strasznie niepokojące, ponieważ (1) jest prawdopodobnie fikcją, a (2) nie wiąże się z żadną rzeczywistą złośliwą intencją sztucznej inteligencji - co oznacza, że ​​nie będzie aktywnie próbował nas oszukać ani nie obejdzie żadnego bezpieczeństwa wycięcia itp.

Teraz, gdy ktoś zbuduje sztuczną inteligencję i zdecyduje się celowo zaprogramować ją tak, aby rozwijała cechy ludzkie, takie jak arogancja, ego, chciwość itp. Cóż, wszystkie zakłady są wyłączone.

przestępstwa umysłowe
źródło
1

AI jest już używana jako broń - pomyśl o dronach.

Podejrzewam, że scenariusz „roboty przejmują świat” ma największe prawdopodobieństwo, jeśli ma krok pośredni. Tym pośrednim krokiem może być „przejęcie świata przez roboty za pomocą robotów”.

To może pójść gdzieś w fałszywym kierunku.

Podejrzewam, że na pewno nie jest tak daleko, jak się wydaje. Rozważmy, że USA ma obecnie 8000 dronów. Co jeśli miałby 8 milionów? Mała grupa zdolna do ich kontrolowania może przejąć świat. Lub małe grupy kontrolujące różne części floty mogłyby walczyć przeciwko sobie. Nie powinni być wszyscy w USA - w momencie, gdy Stany Zjednoczone będą miały tę flotę, inne kraje również rozwiną swoją.

Btw, przejęcie świata wydaje mi się nierealne - przywódcy wojskowi mogą zmienić ludzkich pilotów w drony, to nie jest ich praca. Ale „kontrola wysokiego poziomu”, tj. Określenie, co robić, kim są cele, tych decyzji, których nigdy nie wydadzą z rąk.

Poza tym roboty nie mają długoterminowego celu. My, ludzie, mamy.

Dlatego nie uważam przejęcia w stylu skynet za bardzo realistyczne, ale „błąd” w błędnie zinterpretowanym rozkazie w stylu czarnobylskim, który powoduje niepowstrzymane szaleństwo floty, nie wydaje mi się niemożliwy.

peterh - Przywróć Monikę
źródło