Czy sztuczna inteligencja jest podatna na ataki hakerskie?

27

Artykuł Ograniczenia głębokiego uczenia się w ustawieniach przeciwnych bada, w jaki sposób sieci neuronowe mogą zostać uszkodzone przez atakującego, który może manipulować zestawem danych, z którym trenuje sieć neuronowa. Autorzy eksperymentują z siecią neuronową przeznaczoną do odczytywania odręcznych cyfr, podważając jej zdolność do czytania poprzez zniekształcanie próbek odręcznych cyfr, z którymi trenowana jest sieć neuronowa.

Obawiam się, że złośliwi aktorzy mogą próbować włamać się do sztucznej inteligencji. Na przykład

  • Oszukiwanie pojazdów autonomicznych w celu błędnej interpretacji znaków stopu w stosunku do ograniczenia prędkości.
  • Omijanie rozpoznawania twarzy, na przykład w bankomatach.
  • Obejście filtrów spamu.
  • Fałszywa analiza nastrojów recenzji filmów, hoteli itp.
  • Obejście silników wykrywania anomalii.
  • Fałszywe polecenia głosowe.
  • Niepoprawne przewidywania medyczne oparte na uczeniu maszynowym.

Jaki efekt przeciwny mógłby zakłócić świat? Jak możemy temu zapobiec?

Surya Sg
źródło
6
Weź pod uwagę, że ludzka inteligencja jest podatna na ataki hakerskie
Gaius
Ciekawy. Czy jesteś zainteresowany „modelami ryzyka w ustawieniach przeciwnych” lub czymś bliższym tradycyjnej odpowiedzi na cyberbezpieczeństwo, ale nadal wprost o sztucznej inteligencji? Wszystkiego najlepszego.
Objawienia tautologiczne

Odpowiedzi:

19

AI jest podatna na zagrożenia z dwóch perspektyw bezpieczeństwa:

  1. Klasyczna metoda wykorzystywania jawnych błędów programistycznych w celu wykonania pewnego rodzaju kodu na maszynie z AI lub w celu wyodrębnienia danych.

  2. Oszustwo polegające na równoważeniu złudzeń optycznych AI dla określonej formy danych, z którą system ma sobie poradzić.

Pierwszą należy ograniczyć w taki sam sposób, jak każde inne oprogramowanie. Nie jestem pewien, czy sztuczna inteligencja jest bardziej wrażliwa na tym froncie niż inne oprogramowanie, byłbym skłonny myśleć, że złożoność może nieco zwiększyć ryzyko.

Drugą kwestię prawdopodobnie najlepiej złagodzić zarówno staranne dopracowanie systemu, jak zauważono w niektórych innych odpowiedziach, ale także poprzez zwiększenie wrażliwości systemu na kontekst; wiele technik przeciwnych polega na ocenie wkładu w próżni.

Christopher Griffith
źródło
1
Podział na luki w zabezpieczeniach kodu i luki w użyciu jest dobry. Jednak luki w kodzie zwykle są niewielkie w AI. Złożoność sztucznej inteligencji polega na danych, niezależnie od tego, czy są to wagi węzłów w sieci neuronowej, czy drzewa w losowym lesie. Jest tylko niewielka część kodu, aby nakarmić AI, a głównym ryzykiem jest to, że nie zostanie on przekarmiony - klasyczne ryzyko przepełnienia bufora, które można łatwo złagodzić technikami z końca XX wieku.
MSalters
@MSalters Myślę, że trudno jest wyciągnąć ogólny wniosek, ponieważ złożoność kodu może się bardzo różnić między różnymi typami agentów AI (myślę, że twój komentarz jest w dużej mierze trafny dla sieci neuronowych). Ponadto, chociaż dane i manipulacje nimi są prawdopodobnie większą powierzchnią ataku, nierozsądnym byłoby odrzucanie tego samego rodzaju ataków, które umożliwiły zdalne wykonanie kodu za pośrednictwem zainfekowanych plików obrazów w przeszłości, które wykorzystywały wady w aplikacjach do przeglądania obrazów. Wektor to przekazywane dane, ale myślę, że zachowanie to nadal podlega nagłówkowi luki w zabezpieczeniach kodu.
Christopher Griffith,
7

Programator kontra programista

To „wojna w nieskończoność”: programiści kontra programiści. Wszystko można zhakować. Zapobieganie jest powiązane z poziomem wiedzy specjalisty odpowiedzialnego za bezpieczeństwo i programistów w zakresie bezpieczeństwa aplikacji.

np. Istnieje kilka sposobów zidentyfikowania użytkownika próbującego zepsuć wskaźniki generowane przez analizę sentymentów, ale są też sposoby na obejście tych kroków. To dość nudna walka.

Agent kontra agent

Interesującym punktem, który poruszył @DukeZhou, jest ewolucja tej wojny, w której uczestniczą dwie sztucznej inteligencji (agenci). W takim przypadku bitwa jest jedną z najbardziej kompetentnych. Jaki jest najlepiej wyszkolony model, wiesz?

Aby jednak osiągnąć doskonałość w kwestii podatności na zagrożenia, sztuczna inteligencja lub sztuczna super inteligencja przewyższają zdolność do obchodzenia człowieka. To tak, jakby wiedza wszystkich hacków do dziś istniała już w umyśle tego agenta i zaczął rozwijać nowe sposoby obchodzenia własnego systemu i rozwijania ochrony. Złożone, prawda?

Uważam, że trudno jest mieć sztuczną inteligencję, która myśli: „Czy człowiek użyje zdjęcia zamiast ujawnić swoją twarz?”

Jak możemy temu zapobiec

Zawsze mając człowieka nadzorującego maszynę, a jednak nie będzie ona w 100% skuteczna. Pomijając możliwość, że agent może sam ulepszyć swój własny model.

Wniosek

Myślę więc, że scenariusz działa w ten sposób: programista próbuje obejść walidację sztucznej inteligencji, a programista IA, zdobywając wiedzę za pomocą dzienników i testów, próbuje zbudować mądrzejszy i bezpieczniejszy model, starając się zmniejszyć ryzyko niepowodzenia.

Guilherme IA
źródło
3
Świetna odpowiedź. (imo, powinna być zaakceptowana odpowiedź, ale musisz zapewnić wsparcie lub linki). niezależnie od tego, twoja logika jest poprawna, chociaż myślę, że zacznie się ona rozciągać poza programistę vs. programistę na agenta vs. agent, gdy nowe algorytmy będą się zwiększać wyrafinowanie i podejmuj te strategie bez ludzkiej zachęty.
DukeZhou
1
Zaktualizowano! Dobry punkt @DukeZhou
Guilherme IA
6

Jak możemy temu zapobiec?

Istnieje kilka prac dotyczących weryfikacji AI. Automatyczne weryfikatory mogą udowodnić właściwości odporności sieci neuronowych. Oznacza to, że jeśli wejście X NN jest zaburzone nie bardziej niż na danym limicie ε (w niektórych metrykach, np. L2), wówczas NN daje na to tę samą odpowiedź.

Takie weryfikatory są wykonywane przez:

Takie podejście może pomóc w sprawdzeniu właściwości odporności sieci neuronowych. Następnym krokiem jest zbudowanie takiej sieci neuronowej, która wymagała solidności. Niektóre z powyższych artykułów zawierają również metody, jak to zrobić.

Istnieją różne techniki poprawy odporności sieci neuronowych:

Przynajmniej ostatni może sprawić, że NN będzie bardziej solidny. Więcej literatury można znaleźć tutaj .

Ilya Palachev
źródło
2
Brzmi to jak twierdzenie niemożliwe ... chyba że chodzi o jakieś konkretne wejścia X, a nie ogólne wejścia X? W takim przypadku wydaje się, że prawie nic nie mówi o hakowalności, ponieważ wkład nie musi ograniczać się do perturbacji osób uczestniczących w szkoleniu?
Mehrdad
1
@ Mehrdad: Prawdopodobnie można to osiągnąć w sensie probabilistycznym, jeśli przestrzeń wejściowa jest wystarczająco ustrukturyzowana, aby można było ją losowo próbkować. Oznacza to, że prawdopodobnie można ustalić, że dla 95% możliwych sygnałów wejściowych 95% zakłóceń mniejszych niż ε nie wpływa na etykietę klasy. Jest to równoważne z ustaleniem, że granica między klasami wyjściowymi w przestrzeni wejściowej jest gładka lub że największa część przestrzeni wejściowej nie leży w pobliżu granicy klas. Oczywiście pewna część przestrzeni wejściowej musi leżeć w pobliżu granicy klasy.
MSalters
Nie jestem pewien, czy miałoby to zastosowanie w przypadku „kontradyktoryjnym” opisanym w artykule: Tam (IIRC) do całego obrazu dodano gradient propagowany wstecz, więc zmiana pełnego wejścia może być dość duża - nawet jeśli zmiana dla każdego pojedynczego piksela jest ledwo zauważalna.
Niki,
@MSalters: Chyba tak. Ale wydaje się, że trochę to dewaluuje, chyba że faktycznie możesz pokazać zdjęcia, które znajdują się na granicy klasowej, a tak naprawdę powinny znajdować się na granicy klasowej ...
Mehrdad
Zdanie „Kolejnym krokiem jest zbudowanie takiej sieci neuronowej, która wymagała solidności” jest w trakcie badań. Ogólnie bardzo trudno jest pozbyć się problemu niestabilności NN. Ale możliwe jest zwiększenie odporności poprzez trening przeciwników (patrz np. A. Kurakin i in., ICLR 2017 ), destylację obronną (patrz np. N. Papernot i in., SSP 2016 ), obronę MMSTV ( Maudry i in., ICLR 2018 ). Przynajmniej ostatni może sprawić, że NN będzie bardziej solidny.
Ilya Palachev
4

Wierzę, że tak, żaden system nie jest bezpieczny, jednak nie jestem pewien, czy mogę to powiedzieć po 20-30 latach rozwoju / ewolucji AI. W każdym razie są artykuły, które pokazały, że ludzie oszukują AI (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
źródło
4

Czy sztuczna inteligencja jest podatna na hakowanie?

Odwróć na chwilę swoje pytanie i pomyśl:

Co zmniejszyłoby ryzyko sztucznej inteligencji w porównaniu do jakiegokolwiek innego oprogramowania?

Pod koniec dnia oprogramowanie jest oprogramowaniem i zawsze pojawią się błędy i problemy z bezpieczeństwem. AI są narażone na wszystkie problemy, na które narażone jest oprogramowanie inne niż AI, ponieważ AI nie zapewnia im jakiejś odporności.

Jeśli chodzi o manipulowanie specyficzne dla AI, AI jest narażone na podawanie fałszywych informacji. W przeciwieństwie do większości programów, funkcjonalność AI zależy od danych, które zużywa.

Na przykład w świecie rzeczywistym kilka lat temu Microsoft stworzył chatbota AI o nazwie Tay. Twitterowi zajęło mniej niż 24 godziny, aby nauczył go mówić: „Zbudujemy mur, a Meksyk za to zapłaci”:

Zbudujemy mur, a Meksyk za to zapłaci

(Zdjęcie zaczerpnięte z artykułu Verge, do którego link znajduje się poniżej, nie rości sobie żadnych praw).

I to tylko wierzchołek góry lodowej.

Niektóre artykuły o Tay:

Teraz wyobraź sobie, że nie był to bot czatowy, wyobraź sobie, że był to ważny element sztucznej inteligencji z przyszłości, w której AI zarządza takimi rzeczami, jak nie zabijanie pasażerów samochodu (tj. Samochodu samobieżnego) lub nie zabijanie pacjenta stół operacyjny (tj. jakiś sprzęt medyczny).

To prawda, można mieć nadzieję, że takie AI będą lepiej zabezpieczone przed takimi zagrożeniami, ale przypuśćmy, że ktoś znalazł sposób na dostarczenie tak wielu AI fałszywych informacji bez zauważenia (w końcu najlepsi hakerzy nie pozostawiają śladu), co naprawdę może oznaczać różnica między życiem a śmiercią.

Korzystając z przykładu samochodu samojezdnego, wyobraź sobie, czy fałszywe dane mogą sprawić, że samochód uzna, że ​​konieczne jest zatrzymanie awaryjne na autostradzie. Jedną z aplikacji medycznej sztucznej inteligencji są decyzje o śmierci lub życiu w ER, wyobraź sobie, że haker może przechylić szalę na korzyść złej decyzji.

Jak możemy temu zapobiec?

Ostatecznie skala ryzyka zależy od tego, jak zależni ludzie stają się wobec AI. Na przykład, jeśli ludzie oceniliby AI i nigdy jej nie zakwestionowali, otworzyliby się na wszelkiego rodzaju manipulacje. Jeśli jednak wykorzystają analizę sztucznej inteligencji jako jedną z części układanki, łatwiej będzie wykryć, kiedy sztuczna inteligencja jest niewłaściwa, czy to przypadkowo, czy też złośliwie.

W przypadku medycznego decydenta nie wierz tylko sztucznej inteligencji, przeprowadzaj testy fizyczne i zdobywaj też ludzkie opinie. Jeśli dwóch lekarzy nie zgadza się z AI, wyrzuć diagnozę AI.

W przypadku samochodu jedną z możliwości jest posiadanie kilku zbędnych systemów, które muszą zasadniczo „głosować” na to, co należy zrobić. Jeśli samochód ma wiele AI na oddzielnych systemach, które muszą głosować na temat tego, jakie działanie należy podjąć, haker musiałby wyjąć więcej niż jedną AI, aby przejąć kontrolę lub spowodować impas. Co ważne, jeśli sztuczna inteligencja działała na różnych systemach, taka sama eksploatacja wykorzystana na jednym nie mogłaby zostać wykonana na innym, co dodatkowo zwiększyło obciążenie hakera.

Pharap
źródło
1
Podoba mi się pomysł posiadania kilku oddzielnych systemów AI, które muszą osiągnąć porozumienie jako technika łagodzenia. Chociaż wtedy trzeba mieć pewność, że zastosowany przez nich mechanizm głosowania nie może być objęty podrobioną decyzją.
Christopher Griffith,
@ChristopherGriffith True, to ryzyko. W przypadku samochodu najlepszym sposobem na złagodzenie tego jest zaprojektowanie systemu tak, aby atakujący potrzebował fizycznego dostępu do manipulowania nim i utrudniłby do niego dostęp, aby osoba musiała włamać się do samochodu, aby uzyskać do niego dostęp. Utrzymanie systemu w trybie offline to ogólnie dobry sposób na hakowanie, choć nie zawsze idealny.
Pharap
1

Zgadzam się z Akio, że żaden system nie jest całkowicie bezpieczny, ale na wynos jest to, że systemy AI są mniej podatne na ataki w porównaniu ze starymi systemami ze względu na możliwość ciągłego ulepszania.

W miarę upływu czasu coraz więcej osób dostanie się w teren, wprowadzając nowe pomysły, a sprzęt będzie się poprawiał, aby stały się „silną sztuczną inteligencją”.

Simbarashe Timothy Motsi
źródło
1

Czy sztuczna inteligencja jest podatna na ataki hakerskie?

Wskazówka; jeśli powiesz, że AI jest podatna na zagrożenia, to nie zgadzam się z tobą przez takie stwierdzenie. Sztuczna inteligencja dzieli się na trzy kategorie lub fazy, przez które powinniśmy przejść, tj.

  • sztuczna wąska inteligencja

  • sztuczna inteligencja ogólna

  • sztuczna super inteligencja

Dlatego zgodnie z twoim oświadczeniem; „Obawiam się, że złośliwi aktorzy mogą próbować zhakować AI .....”

podane w przykładach w treści wiadomości, jesteśmy na poziomie sztucznej, wąskiej inteligencji, gdzie ludzki haker może przekręcić swój / złośliwy kod, aby zaatakować takie aplikacje, na tym poziomie. Jeśli jednak przejdziemy bezpośrednio do ostatecznego poziomu Sztucznego Inteligencja; wtedy za wszelką cenę człowiek nie może atakować ani hakować super inteligentnego oprogramowania lub super inteligentnego agenta. Na przykład; ludzki haker, robi jedną rzecz na raz, nic nie stoi na przeszkodzie, aby sztuczna inteligencja dzieliła się skupieniem i pracowała z wieloma pracownikami jednocześnie, trudno zgadywać umysł, który działa dokładnie tak

dla Twojej informacji

nie dajcie się zwieść temu, co media mówią ogólnie o sztucznej inteligencji, po prostu dlatego, że nie wiedzą, że stanie się wielka rzecz, to jest nowy gatunek, który konkuruje z ludźmi

wyobraź sobie życie w nowym społeczeństwie, które jest zaawansowane technologicznie. Sprawdź cyber wielkie wyzwanie

Jeśli przegapiłeś to wydarzenie, przepraszam.

kwintumnia
źródło
Wyobrażam sobie, że nawet w świecie sztucznie super inteligentnych stworzeń nadal będą sposoby na zhakowanie tych systemów przy użyciu wysoce wyspecjalizowanych narzędzi, które mogą po prostu przewyższyć uogólnione systemy AI przy określonych zadaniach.
krowe2
1

Inteligencja dowolnego rodzaju jest podatna na ataki hakerskie, zarówno na podstawie DNA, jak i sztuczne. Najpierw zdefiniujmy hakowanie. W tym kontekście hackowanie polega na wykorzystaniu słabych stron do osiągnięcia określonych celów, które mogą obejmować status, zysk finansowy, zakłócenie działalności gospodarczej lub rządowej, informacje, które mogą być wykorzystane do wymuszenia, przewagi w transakcji biznesowej lub wyborach lub w innej formie kontroli lub manipulacji.

Oto przykłady strategii hakowania mózgu i ich wspólnych celów. Każdy z nich ma odpowiednik systemu cyfrowego.

  • Propaganda rządowa - przewidywalna zgodność
  • Oszustwa - pieniądze
  • Fałszowanie - humorystyczna reakcja publiczna
  • Roll-playing - zdobądź zaufanie, aby uzyskać dostęp lub manipulować
  • Centra bólu - wykorzystuj uzależnienie w celu zwiększenia dochodów

Niektórzy są zaniepokojeni tym, co nazywa się Singularity, gdzie inteligentne jednostki oprogramowania mogą być w stanie zhakować ludzi i ich struktury społeczne, aby osiągnąć własne cele. To, że ludzie mogą zhakować inteligentnych agentów innych ludzi, jest kolejną oczywistą możliwością. Nie sądzę, żeby dane treningowe były jedynym punktem ataku.

  • Macierze parametrów można nadpisać w sposób trudny do wykrycia.
  • Sygnały zbrojenia mogą być modyfikowane.
  • Można wykorzystać znane luki błędów w permutacjach wejściowych.
  • Deterministyczna natura systemów cyfrowych może być wykorzystywana przez innych głębokich uczniów poprzez powielanie wyszkolonego systemu i szukanie punktów podatności off-line przed wykonaniem ich przez sieć

Możliwości wymienione w pytaniu zasługują na uwagę, ale to moja wersja listy.

  • Zabójstwa w wyniku nieprawidłowego działania systemu AV lub fałszowania systemów identyfikacji w aptekach lub szpitalach
  • Przekierowanie dużych ilości wysyłanego produktu do odbiorcy, który za nie nie zapłacił
  • Ludobójstwo społeczne poprzez marginalizację określonych grup osób

Jedynym sposobem, aby temu zapobiec, jest czekanie na globalne zdarzenie wymierania, ale mogą istnieć sposoby na jego złagodzenie. Tak jak napisano program Szatan, aby znaleźć luki w systemach UNIX, tak inteligentne systemy mogą zostać opracowane w celu znalezienia luk w innych inteligentnych systemach. Oczywiście, podobnie jak modele programowania i konwencjonalne systemy informacyjne można projektować z myślą o bezpieczeństwie, zmniejszając podatności na zagrożenia w możliwym stopniu od samego początku, tak systemy AI można projektować z myślą o tym celu.

Jeśli podążysz ścieżką informacyjną dowolnego systemu i rozważysz sposoby odczytu lub zapisu sygnału w dowolnym punkcie ścieżki, możesz zapobiegawczo zabezpieczyć się przed tymi punktami dostępu. Oczywiście, ostrożność przy pozyskiwaniu danych do wykorzystania w szkoleniu jest kluczowa w przypadku wspomnianym w tym pytaniu, potrzebne jest odpowiednie szyfrowanie wzdłuż ścieżek informacyjnych, a także zapewnienie, że nieuprawniony dostęp nie zostanie przyznany fizycznie, ale przewiduję bitwy między środkami i środki zaradcze wynikające z tych obaw i możliwości.

Douglas Daseeco
źródło
0

Istnieje wiele sposobów na zhakowanie AI. Kiedy byłem dzieckiem, wymyśliłem, jak pokonać komputer szachowy. Zawsze stosowałem ten sam wzorzec, kiedy tylko się nauczysz, możesz go wykorzystać. Najlepszym hakerem na świecie jest 4-latek, który chce czegoś, co będzie próbował różnych rzeczy, dopóki nie ustanowi wzorców u swoich rodziców. W każdym razie zdobądź AI, aby nauczyć się wzorców AI, a biorąc pod uwagę daną kombinację, możesz obliczyć wynik. Istnieją również zwykłe wady lub tylne drzwi w kodzie, celowo lub przypadkowo. Istnieje również możliwość, że sztuczna inteligencja sama się zhakuje. To się nazywa niewłaściwe zachowanie, pamiętaj jeszcze raz małe dziecko ...

BTW to prosty sposób, aby sztuczna inteligencja zawsze zawodziła bezpiecznie ... coś, o czym ludzie zapominają.

Tony Lester
źródło