Czy sieci neuronowe dogłębnego uczenia będą działać na komputerach kwantowych?

15

Dogłębne uczenie się (wiele warstw sztucznych sieci neuronowych wykorzystywanych w nadzorowanych i nadzorowanych zadaniach uczenia maszynowego) jest niezwykle potężnym narzędziem do wielu najtrudniejszych zadań uczenia maszynowego: rozpoznawania obrazów, rozpoznawania wideo, rozpoznawania mowy itp. Biorąc pod uwagę, że obecnie jest to jeden z najbardziej wydajnych algorytmów uczenia maszynowego, a obliczenia kwantowe są ogólnie uważane za zmieniacz gier dla niektórych bardzo trudnych zadań obliczeniowych, zastanawiam się, czy nastąpił jakiś ruch w ich połączeniu.

  • Czy algorytm głębokiego uczenia może działać na komputerze kwantowym?
  • Czy warto próbować?
  • Czy istnieją inne algorytmy kwantowe, które uczynią głębokie uczenie się nieistotnym?
Bob Swain
źródło
1
Nie jestem ekspertem, ale wyobrażam sobie, że algorytm HHL byłby przydatny w tym kontekście.
DaftWullie,

Odpowiedzi:

8
  1. Tak, wszystkie klasyczne algorytmy mogą być uruchamiane na komputerach kwantowych, ponadto każdy klasyczny algorytm obejmujący wyszukiwanie może uzyskać dzięki zastosowaniu algorytmu Grovers. Przykładem, który przychodzi mi na myśl, jest traktowanie dostrajania parametrów sieci neuronowej jako problemu „poszukiwania współczynników”.original time

  2. Faktem jest, że w niektórych procesach widać wyraźne korzyści obliczeniowe: tak.

  3. Nie żebym o tym wiedział. Ale ktoś z większym doświadczeniem może tu dzwonić, jeśli chce. Jedna rzecz, która przychodzi mi na myśl: często możemy używać głębokiego uczenia się i innych form sztucznej inteligencji do badania problemów chemii i fizyki, ponieważ symulacja jest droga lub niepraktyczna. W tej dziedzinie komputery kwantowe najprawdopodobniej dokonają uboju swoich klasycznych przodków, biorąc pod uwagę ich zdolność do natywnej symulacji układów kwantowych (takich jak te w chemii jądrowej) w czasie rzeczywistym lub szybciej.

Kiedy ostatnio z nim rozmawiałem, Mario Szegedy był tym właśnie zainteresowany, prawdopodobnie jest też wielu innych badaczy, którzy nad tym pracują.

frogeyedpeas
źródło
6
Nie jestem przekonany, że algorytm Grovera jest tutaj istotny. Algorytm Grovera znajduje jedno unikalne wejście, które dokładnie wytwarza dane wyjście. OTOH, sieci neuronowe są z natury bardzo nietypowe i nie są tak naprawdę dokładne - w najlepszym razie asymptycznie dokładne.
lewo około
Można to potraktować jako problem z wyszukiwaniem w bazie danych, patrząc na super pozycję wszystkich stanów, w których mogą znajdować się wagi. Niech funkcja wyszukiwania zwróci 1, jeśli normą pochodnej sieci neuronowej na standardowym wejściu jest waga mniej niż pożądana tolerancja.
frogeyedpeas
1
To byłoby całkowicie bezużyteczne. Dla każdego nietrywialnego problemu będzie wiele kombinacji wag, przy których gradient wynosi zero; nawet gdyby algorytm Grovera dał ci jeden z nich, na ogół nie byłby to minimum, a tym bardziej globalne minimum.
lewo około
Nie zgadzam się, biorąc pod uwagę następujący protokół: opadanie gradientu waniliowego do pewnego progu, a następnie zastosowanie wyszukiwania Grovera w bardzo ograniczonej przestrzeni ciężarów, aby wybrać twarde minimum w granicach pewnego błędu, ta część końcowa jest tam, gdzie zejście gradientu zwykle zbiega się bardzo powoli do miejscowego optimum, a ja zaczynam się interesować, czy to właśnie w tym przypadku skorzystanie z Grover Search może być interesujące
frogeyedpeas
1
Hm, to może zadziałać; jednak w tej części końcowej jestem pewien, że przy klasycznych środkach można również osiągnąć znacznie lepsze wyniki niż zejście gradientowe. Gradient dwuwymiarowy jest oczywistym kandydatem.
lewo około
13

To jest bardzo otwarte pytanie, ale tak, na tym froncie jest wiele pracy.

Kilka wyjaśnień

Przede wszystkim należy zauważyć, że istnieją dwa główne sposoby łączenia uczenia maszynowego (w szczególności uczenia głębokiego) z mechaniką kwantową / obliczeniami kwantowymi:

1) ML QM

Zastosuj klasyczne techniki uczenia maszynowego, aby rozwiązać problemy powstające w kontekście mechaniki kwantowej / informacji kwantowej / obliczeń kwantowych . Obszar ten rośnie zbyt szybko, abym mógł nawet spróbować porządnej listy referencji, więc po prostu połączę się z kilkoma najnowszymi pracami w tym kierunku: w 1803.04114 autorzy zastosowali metodę uczenia maszynowego, aby znaleźć obwody do obliczenia nakładania się między dwoma stanami (istnieje wiele innych prac w tym samym kierunku), aw 1803.05193 autorzy zbadali, w jaki sposób można wykorzystać głębokie sieci neuronowe do znalezienia schematów korekcji kontroli kwantowej.

2) QM ML

Badanie algorytmów kwantowych do analizy dużych zbiorów danych , co często oznacza poszukiwanie „ kwantowych uogólnień ” klasycznych algorytmów uczenia maszynowego. Możesz spojrzeć na moją inną odpowiedź, aby uzyskać podstawowe odniesienia do tego tematu. Mówiąc dokładniej w przypadku głębokiego uczenia się , w 1412.3489 (trafnie nazwanym Quantum Deep Learning ) autorzy proponują metodę (skutecznie algorytm kwantowy), aby ogólnie przyspieszyć szkolenie głębokich, ograniczonych maszyn Boltzmanna . Innym odnośnym odniesieniem jest 1712.05304 , w którym autorzy opracowali algorytm kwantowy o niskiej głębokości do trenowania kwantowych maszyn Boltzmanna. Zobacz 1708.09757, a także odniesienia w połączonej odpowiedzi, aby znaleźć o wiele więcej prac na ten temat. Zauważ, że przyspieszenie, o które się ubiegają te prace, może się bardzo różnić, od przyspieszeń wykładniczych po wielomianowe.

Czasami przyspieszenie wynika z zastosowania algorytmów kwantowych do rozwiązania określonych liniowych problemów algebraicznych (patrz np. Tabela 1 w ( 1707.08561 ), czasem wynika z tego, co w zasadzie oznacza użycie (wariantów) poszukiwań Grovera, a czasem z innych rzeczy (ale głównie te dwie). Cytując tutaj Dunjko i Briegel :

Pomysły ulepszeń kwantowych dla ML można z grubsza podzielić na dwie grupy: a) podejścia, które polegają na poszukiwaniu Grovera i amplitudzie amplitudy w celu uzyskania przyspieszeń do kwadratu, oraz b) podejścia, które kodują istotne informacje w amplitudach kwantowych , i które mogą potencjalnie nawet wykładnicze ulepszenia. Druga grupa podejść tworzy być może najbardziej rozwiniętą linię badawczą w kwantowym ML i gromadzi mnóstwo narzędzi kwantowych - przede wszystkim kwantową algebrę liniową, wykorzystywaną w propozycjach kwantowej ML.

Bardziej bezpośrednia odpowiedź na trzy pytania

Powiedziawszy powyższe, pozwól mi bardziej bezpośrednio odpowiedzieć na trzy poruszone przez ciebie kwestie:

  1. Czy algorytm głębokiego uczenia może działać na komputerze kwantowym? Zdecydowanie tak: jeśli możesz uruchomić coś na klasycznym komputerze, możesz to zrobić na komputerach kwantowych. Jednak pytanie, które należy zadać, to raczej, czy kwantowy (głęboki) algorytm uczenia maszynowego może być bardziej wydajny niż klasyczne odpowiedniki ? Odpowiedź na to pytanie jest trudniejsza. Być może tak , istnieje wiele propozycji w tym kierunku, ale jest zbyt wcześnie, aby powiedzieć, co zadziała, a co nie.

  2. Czy warto próbować? Tak!

  3. Czy istnieją inne algorytmy kwantowe, które uczynią głębokie uczenie się nieistotnym? Zależy to silnie od tego, co rozumiesz przez „ nieistotne ”. Mam na myśli to, że obecnie wiadomo, że mogą istnieć klasyczne algorytmy, które uczynią głębokie uczenie się „nieistotnym”.
glS
źródło
3
W kontekście tej odpowiedzi chciałbym wspomnieć o tym ostatnim artykule, który pokazuje, w jaki sposób można zastosować algorytm optymalizacji przybliżonej kwantowej do trenowania sieci neuronowych (ograniczone maszyny Boltzmanna) poprzez zastosowanie przybliżonego próbkowania Gibbsa na uniwersalnych komputerach kwantowych.
Mark Fingerhuth,
1
@MarkFingerhuth Dodałem go do odpowiedzi, dziękuję za wskaźnik (i witam na stronie!)
glS
2

Oto najnowsze opracowanie Xanadu, fotonicznego obwodu kwantowego, który naśladuje sieć neuronową. To jest przykład sieci neuronowej działającej na komputerze kwantowym.

Ten obwód fotoniczny zawiera interferometry i bramki ściskające, które naśladują funkcje ważenia NN, bramkę przemieszczenia działającą jak odchylenie i nieliniową transformację podobną do funkcji ReLU NN.

Wykorzystali również ten obwód do szkolenia sieci w celu generowania stanów kwantowych, a także implementacji bram kwantowych.

Oto ich publikacja i kod używany do trenowania obwodu . Oto średni artykuł wyjaśniający ich obwód.

artha
źródło
2

Wszystkie odpowiedzi tutaj wydają się ignorować podstawowe praktyczne ograniczenie:

Dogłębne uczenie się działa najlepiej w przypadku dużych zbiorów danych. MNIST to 60000 obrazów, ImageNet to 14 milionów obrazów.

Tymczasem największe komputery kwantowe mają obecnie 50 ~ 72 Qbitów.

Nawet w najbardziej optymistycznych scenariuszach komputery kwantowe, które mogą obsłużyć ilości danych, które wymagałyby algorytmów głębokiego uczenia, zamiast tego bardziej tradycyjne metody modelowania nie będą dostępne w najbliższym czasie.

Dlatego zastosowanie QC w Deep Learning może być ciekawą teoretyczną ciekawostką, ale nie jest czymś, co wkrótce będzie praktyczne.

Alex Kinman
źródło