Czy sztuczna inteligencja jest podatna na ataki hakerskie?

27

Artykuł Ograniczenia głębokiego uczenia się w ustawieniach przeciwnych bada, w jaki sposób sieci neuronowe mogą zostać uszkodzone przez atakującego, który może manipulować zestawem danych, z którym trenuje sieć neuronowa. Autorzy eksperymentują z siecią neuronową przeznaczoną do odczytywania odręcznych cyfr, podważając jej zdolność do czytania poprzez zniekształcanie próbek odręcznych cyfr, z którymi trenowana jest sieć neuronowa.

Obawiam się, że złośliwi aktorzy mogą próbować włamać się do sztucznej inteligencji. Na przykład

Oszukiwanie pojazdów autonomicznych w celu błędnej interpretacji znaków stopu w stosunku do ograniczenia prędkości.
Omijanie rozpoznawania twarzy, na przykład w bankomatach.
Obejście filtrów spamu.
Fałszywa analiza nastrojów recenzji filmów, hoteli itp.
Obejście silników wykrywania anomalii.
Fałszywe polecenia głosowe.
Niepoprawne przewidywania medyczne oparte na uczeniu maszynowym.

Jaki efekt przeciwny mógłby zakłócić świat? Jak możemy temu zapobiec?

neural-networks deep-learning philosophy generative-adversarial-networks ai-safety Surya Sg
źródło

6

Weź pod uwagę, że ludzka inteligencja jest podatna na ataki hakerskie

Gaius

Ciekawy. Czy jesteś zainteresowany „modelami ryzyka w ustawieniach przeciwnych” lub czymś bliższym tradycyjnej odpowiedzi na cyberbezpieczeństwo, ale nadal wprost o sztucznej inteligencji? Wszystkiego najlepszego.

Objawienia tautologiczne

19

AI jest podatna na zagrożenia z dwóch perspektyw bezpieczeństwa:

Klasyczna metoda wykorzystywania jawnych błędów programistycznych w celu wykonania pewnego rodzaju kodu na maszynie z AI lub w celu wyodrębnienia danych.
Oszustwo polegające na równoważeniu złudzeń optycznych AI dla określonej formy danych, z którą system ma sobie poradzić.

Pierwszą należy ograniczyć w taki sam sposób, jak każde inne oprogramowanie. Nie jestem pewien, czy sztuczna inteligencja jest bardziej wrażliwa na tym froncie niż inne oprogramowanie, byłbym skłonny myśleć, że złożoność może nieco zwiększyć ryzyko.

Drugą kwestię prawdopodobnie najlepiej złagodzić zarówno staranne dopracowanie systemu, jak zauważono w niektórych innych odpowiedziach, ale także poprzez zwiększenie wrażliwości systemu na kontekst; wiele technik przeciwnych polega na ocenie wkładu w próżni.

Christopher Griffith
źródło

1

Podział na luki w zabezpieczeniach kodu i luki w użyciu jest dobry. Jednak luki w kodzie zwykle są niewielkie w AI. Złożoność sztucznej inteligencji polega na danych, niezależnie od tego, czy są to wagi węzłów w sieci neuronowej, czy drzewa w losowym lesie. Jest tylko niewielka część kodu, aby nakarmić AI, a głównym ryzykiem jest to, że nie zostanie on przekarmiony - klasyczne ryzyko przepełnienia bufora, które można łatwo złagodzić technikami z końca XX wieku.

MSalters

@MSalters Myślę, że trudno jest wyciągnąć ogólny wniosek, ponieważ złożoność kodu może się bardzo różnić między różnymi typami agentów AI (myślę, że twój komentarz jest w dużej mierze trafny dla sieci neuronowych). Ponadto, chociaż dane i manipulacje nimi są prawdopodobnie większą powierzchnią ataku, nierozsądnym byłoby odrzucanie tego samego rodzaju ataków, które umożliwiły zdalne wykonanie kodu za pośrednictwem zainfekowanych plików obrazów w przeszłości, które wykorzystywały wady w aplikacjach do przeglądania obrazów. Wektor to przekazywane dane, ale myślę, że zachowanie to nadal podlega nagłówkowi luki w zabezpieczeniach kodu.

Christopher Griffith,

7

Programator kontra programista

To „wojna w nieskończoność”: programiści kontra programiści. Wszystko można zhakować. Zapobieganie jest powiązane z poziomem wiedzy specjalisty odpowiedzialnego za bezpieczeństwo i programistów w zakresie bezpieczeństwa aplikacji.

np. Istnieje kilka sposobów zidentyfikowania użytkownika próbującego zepsuć wskaźniki generowane przez analizę sentymentów, ale są też sposoby na obejście tych kroków. To dość nudna walka.

Agent kontra agent

Interesującym punktem, który poruszył @DukeZhou, jest ewolucja tej wojny, w której uczestniczą dwie sztucznej inteligencji (agenci). W takim przypadku bitwa jest jedną z najbardziej kompetentnych. Jaki jest najlepiej wyszkolony model, wiesz?

Aby jednak osiągnąć doskonałość w kwestii podatności na zagrożenia, sztuczna inteligencja lub sztuczna super inteligencja przewyższają zdolność do obchodzenia człowieka. To tak, jakby wiedza wszystkich hacków do dziś istniała już w umyśle tego agenta i zaczął rozwijać nowe sposoby obchodzenia własnego systemu i rozwijania ochrony. Złożone, prawda?

Uważam, że trudno jest mieć sztuczną inteligencję, która myśli: „Czy człowiek użyje zdjęcia zamiast ujawnić swoją twarz?”

Jak możemy temu zapobiec

Zawsze mając człowieka nadzorującego maszynę, a jednak nie będzie ona w 100% skuteczna. Pomijając możliwość, że agent może sam ulepszyć swój własny model.

Wniosek

Myślę więc, że scenariusz działa w ten sposób: programista próbuje obejść walidację sztucznej inteligencji, a programista IA, zdobywając wiedzę za pomocą dzienników i testów, próbuje zbudować mądrzejszy i bezpieczniejszy model, starając się zmniejszyć ryzyko niepowodzenia.

Guilherme IA
źródło

3

Świetna odpowiedź. (imo, powinna być zaakceptowana odpowiedź, ale musisz zapewnić wsparcie lub linki). niezależnie od tego, twoja logika jest poprawna, chociaż myślę, że zacznie się ona rozciągać poza programistę vs. programistę na agenta vs. agent, gdy nowe algorytmy będą się zwiększać wyrafinowanie i podejmuj te strategie bez ludzkiej zachęty.

DukeZhou

1

Zaktualizowano! Dobry punkt @DukeZhou

Guilherme IA

6

Jak możemy temu zapobiec?

Istnieje kilka prac dotyczących weryfikacji AI. Automatyczne weryfikatory mogą udowodnić właściwości odporności sieci neuronowych. Oznacza to, że jeśli wejście X NN jest zaburzone nie bardziej niż na danym limicie ε (w niektórych metrykach, np. L2), wówczas NN daje na to tę samą odpowiedź.

Takie weryfikatory są wykonywane przez:

Stanford: https://arxiv.org/pdf/1702.01135.pdf
ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
Bosch: https://arxiv.org/pdf/1805.10265.pdf

Takie podejście może pomóc w sprawdzeniu właściwości odporności sieci neuronowych. Następnym krokiem jest zbudowanie takiej sieci neuronowej, która wymagała solidności. Niektóre z powyższych artykułów zawierają również metody, jak to zrobić.

Istnieją różne techniki poprawy odporności sieci neuronowych:

trening przeciwników (patrz np. A. Kurakin i in., ICLR 2017 )
destylacja defensywna (patrz np. N. Papernot i in., SSP 2016 )
Obrona MMSTV ( Maudry i in., ICLR 2018 ).

Przynajmniej ostatni może sprawić, że NN będzie bardziej solidny. Więcej literatury można znaleźć tutaj .

Ilya Palachev
źródło

2

Brzmi to jak twierdzenie niemożliwe ... chyba że chodzi o jakieś konkretne wejścia X, a nie ogólne wejścia X? W takim przypadku wydaje się, że prawie nic nie mówi o hakowalności, ponieważ wkład nie musi ograniczać się do perturbacji osób uczestniczących w szkoleniu?

Mehrdad

1

@ Mehrdad: Prawdopodobnie można to osiągnąć w sensie probabilistycznym, jeśli przestrzeń wejściowa jest wystarczająco ustrukturyzowana, aby można było ją losowo próbkować. Oznacza to, że prawdopodobnie można ustalić, że dla 95% możliwych sygnałów wejściowych 95% zakłóceń mniejszych niż ε nie wpływa na etykietę klasy. Jest to równoważne z ustaleniem, że granica między klasami wyjściowymi w przestrzeni wejściowej jest gładka lub że największa część przestrzeni wejściowej nie leży w pobliżu granicy klas. Oczywiście pewna część przestrzeni wejściowej musi leżeć w pobliżu granicy klasy.

MSalters

Nie jestem pewien, czy miałoby to zastosowanie w przypadku „kontradyktoryjnym” opisanym w artykule: Tam (IIRC) do całego obrazu dodano gradient propagowany wstecz, więc zmiana pełnego wejścia może być dość duża - nawet jeśli zmiana dla każdego pojedynczego piksela jest ledwo zauważalna.

Niki,

@MSalters: Chyba tak. Ale wydaje się, że trochę to dewaluuje, chyba że faktycznie możesz pokazać zdjęcia, które znajdują się na granicy klasowej, a tak naprawdę powinny znajdować się na granicy klasowej ...

Mehrdad

Zdanie „Kolejnym krokiem jest zbudowanie takiej sieci neuronowej, która wymagała solidności” jest w trakcie badań. Ogólnie bardzo trudno jest pozbyć się problemu niestabilności NN. Ale możliwe jest zwiększenie odporności poprzez trening przeciwników (patrz np. A. Kurakin i in., ICLR 2017 ), destylację obronną (patrz np. N. Papernot i in., SSP 2016 ), obronę MMSTV ( Maudry i in., ICLR 2018 ). Przynajmniej ostatni może sprawić, że NN będzie bardziej solidny.

Ilya Palachev

4

Wierzę, że tak, żaden system nie jest bezpieczny, jednak nie jestem pewien, czy mogę to powiedzieć po 20-30 latach rozwoju / ewolucji AI. W każdym razie są artykuły, które pokazały, że ludzie oszukują AI (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
źródło

4

Czy sztuczna inteligencja jest podatna na hakowanie?

Odwróć na chwilę swoje pytanie i pomyśl:

Co zmniejszyłoby ryzyko sztucznej inteligencji w porównaniu do jakiegokolwiek innego oprogramowania?

Pod koniec dnia oprogramowanie jest oprogramowaniem i zawsze pojawią się błędy i problemy z bezpieczeństwem. AI są narażone na wszystkie problemy, na które narażone jest oprogramowanie inne niż AI, ponieważ AI nie zapewnia im jakiejś odporności.

Jeśli chodzi o manipulowanie specyficzne dla AI, AI jest narażone na podawanie fałszywych informacji. W przeciwieństwie do większości programów, funkcjonalność AI zależy od danych, które zużywa.

Na przykład w świecie rzeczywistym kilka lat temu Microsoft stworzył chatbota AI o nazwie Tay. Twitterowi zajęło mniej niż 24 godziny, aby nauczył go mówić: „Zbudujemy mur, a Meksyk za to zapłaci”:

(Zdjęcie zaczerpnięte z artykułu Verge, do którego link znajduje się poniżej, nie rości sobie żadnych praw).

I to tylko wierzchołek góry lodowej.

Niektóre artykuły o Tay:

Teraz wyobraź sobie, że nie był to bot czatowy, wyobraź sobie, że był to ważny element sztucznej inteligencji z przyszłości, w której AI zarządza takimi rzeczami, jak nie zabijanie pasażerów samochodu (tj. Samochodu samobieżnego) lub nie zabijanie pacjenta stół operacyjny (tj. jakiś sprzęt medyczny).

To prawda, można mieć nadzieję, że takie AI będą lepiej zabezpieczone przed takimi zagrożeniami, ale przypuśćmy, że ktoś znalazł sposób na dostarczenie tak wielu AI fałszywych informacji bez zauważenia (w końcu najlepsi hakerzy nie pozostawiają śladu), co naprawdę może oznaczać różnica między życiem a śmiercią.

Korzystając z przykładu samochodu samojezdnego, wyobraź sobie, czy fałszywe dane mogą sprawić, że samochód uzna, że konieczne jest zatrzymanie awaryjne na autostradzie. Jedną z aplikacji medycznej sztucznej inteligencji są decyzje o śmierci lub życiu w ER, wyobraź sobie, że haker może przechylić szalę na korzyść złej decyzji.

Jak możemy temu zapobiec?

Ostatecznie skala ryzyka zależy od tego, jak zależni ludzie stają się wobec AI. Na przykład, jeśli ludzie oceniliby AI i nigdy jej nie zakwestionowali, otworzyliby się na wszelkiego rodzaju manipulacje. Jeśli jednak wykorzystają analizę sztucznej inteligencji jako jedną z części układanki, łatwiej będzie wykryć, kiedy sztuczna inteligencja jest niewłaściwa, czy to przypadkowo, czy też złośliwie.

W przypadku medycznego decydenta nie wierz tylko sztucznej inteligencji, przeprowadzaj testy fizyczne i zdobywaj też ludzkie opinie. Jeśli dwóch lekarzy nie zgadza się z AI, wyrzuć diagnozę AI.

W przypadku samochodu jedną z możliwości jest posiadanie kilku zbędnych systemów, które muszą zasadniczo „głosować” na to, co należy zrobić. Jeśli samochód ma wiele AI na oddzielnych systemach, które muszą głosować na temat tego, jakie działanie należy podjąć, haker musiałby wyjąć więcej niż jedną AI, aby przejąć kontrolę lub spowodować impas. Co ważne, jeśli sztuczna inteligencja działała na różnych systemach, taka sama eksploatacja wykorzystana na jednym nie mogłaby zostać wykonana na innym, co dodatkowo zwiększyło obciążenie hakera.

Pharap
źródło

1

Podoba mi się pomysł posiadania kilku oddzielnych systemów AI, które muszą osiągnąć porozumienie jako technika łagodzenia. Chociaż wtedy trzeba mieć pewność, że zastosowany przez nich mechanizm głosowania nie może być objęty podrobioną decyzją.

Christopher Griffith,

@ChristopherGriffith True, to ryzyko. W przypadku samochodu najlepszym sposobem na złagodzenie tego jest zaprojektowanie systemu tak, aby atakujący potrzebował fizycznego dostępu do manipulowania nim i utrudniłby do niego dostęp, aby osoba musiała włamać się do samochodu, aby uzyskać do niego dostęp. Utrzymanie systemu w trybie offline to ogólnie dobry sposób na hakowanie, choć nie zawsze idealny.

Pharap

1

Zgadzam się z Akio, że żaden system nie jest całkowicie bezpieczny, ale na wynos jest to, że systemy AI są mniej podatne na ataki w porównaniu ze starymi systemami ze względu na możliwość ciągłego ulepszania.

W miarę upływu czasu coraz więcej osób dostanie się w teren, wprowadzając nowe pomysły, a sprzęt będzie się poprawiał, aby stały się „silną sztuczną inteligencją”.