Jałowe płaskowyże w krajobrazach treningowych sieci neuronowej

Tutaj autorzy twierdzą, że wysiłki stworzenia skalowalnej kwantowej sieci neuronowej przy użyciu zestawu sparametryzowanych bramek uznaje się za nieudane dla dużej liczby kubitów. Wynika to z faktu, że z powodu lematu Levy'ego gradient funkcji w przestrzeniach o dużych wymiarach jest wszędzie prawie zerowy.

Zastanawiałem się, czy ten argument można zastosować również do innych hybrydowych kwantowo-klasycznych metod optymalizacji, takich jak VQE (Variational Quantum Eigensolver) lub QAOA (Quantum Approximate Optimization Al Algorytm).

Co myślisz?

algorithm speedup optimization neural-network qaoa asdf
źródło

„za pomocą zestawu parametryzowanych bramek” Jaki zestaw? Czy to przypadek?

rrtucci

Artykuł napisał Jarrod McClean, który jest także pionierem VQE. Wyobrażam sobie, że Jarrod nie wierzy, że VQE uważa się za porażkę w większej liczbie kubitów. Myślę, że twój opis Lemmy Levy'ego jest nieco inny niż sugeruje to artykuł. Mówicie, że „gradient funkcji w przestrzeniach wielowymiarowych jest wszędzie prawie zerowy”, ale artykuł mówi tylko, że dzieje się tak w szczególnym kontekście QNN opisanych w artykule.

user1271772,

Aby rozwinąć nieco mój ostatni komentarz: Można po prostu zbudować funkcję wielowymiarową, która zmienia się bardzo szybko wszędzie, nie będzie miała wszędzie gradientu „prawie zero”. Wniosek oparty na lemacie Levy'ego w artykule dotyczy konkretnej funkcji, którą optymalizują, a nie „żadnej” funkcji w przestrzeni o dużych wymiarach.

user1271772,

@asdf: Po spędzeniu większości dnia na przeglądaniu gazety w końcu znalazłem odpowiedź dla ciebie. Spójrz.

user1271772

powiązane quantumcomputing.stackexchange.com/q/2056/55

glS

Odpowiedzi:

Po pierwsze : praca odnosi się do [ 37 ] lematu Levy'ego, ale nie ma wzmianki o „lemie Levy'ego” w [37]. Znajdziesz go nazywano „Levy'ego Nierówność”, który nazywany jest Lemat Levy w to , co jest nie cytowane w dokumencie można wymienić.

Po drugie : istnieje prosty dowód, że twierdzenie to jest fałszywe w przypadku VQE. W chemii kwantowej optymalizujemy parametry funkcji falowej ansatz $|\Psi(\vec{p})\rangle$ w celu uzyskania najniższej (tj. najdokładniejszej) energii. Energia jest oceniana przez:

{mi}_{\vec{p}} = \frac{⟨ Ψ (\vec{p}) | H. | Ψ (\vec{p}) ⟩}{⟨ Ψ (\vec{p}) | Ψ (\vec{p}) ⟩} .

$E_{\vec{p}} = \frac{\left\langle \Psi(\vec{p})\right|H\left|\Psi(\vec{p})\right\rangle}{\left\langle\Psi(\vec{p}) \right|\left.\Psi(\vec{p}) \right\rangle}.$

VQE oznacza po prostu, że używamy komputera kwantowego do oceny tej energii, a klasycznego komputera do wyboru, w jaki sposób poprawić parametry $\vec{p}$ tak, że energia będzie niższa w następnej iteracji kwantowej.

Tak więc, czy gradient będzie wynosił 0, prawie wszędzie, gdy liczba parametrów w $\vec{p}$ jest duży "nie zależy wcale od tego, czy używamy VQE (na komputerze kwantowym), czy po prostu uruchamiamy standardowy program chemii kwantowej (np. Gaussa ) na klasycznym komputerze. Chemicy kwantowi zazwyczaj optymalizują zmiennie powyższą energię z maksymalnie $10^{10}$ parametry w $\vec{p}$ , a jedynym powodem, dla którego nie wykraczamy poza to, jest to, że kończy nam się pamięć RAM, a nie dlatego, że krajobraz energii zaczyna się wyrównywać. W tym artykule można zobaczyć na końcu streszczenia, że obliczyli energię dla funkcji falowej z około $10^{12}$ parametry , gdzie parametry są współczynnikami wyznaczników Slatera. Powszechnie wiadomo, że krajobraz energetyczny nie jest tak płaski (tak jakby byłby, gdyby gradient wynosił 0 prawie wszędzie), nawet jeśli istnieją tryliony parametrów lub nawet więcej.

Wniosek : Zastosowanie Lemmy Levy'ego będzie zależeć od konkretnego krajobrazu energetycznego, który masz, który będzie zależał od obu $H$ i twój ansatz $|\Psi(\vec{p})\rangle$ . W przypadku ich szczególnej implementacji QNN, stwierdzili, że zastosowanie Lemmy Levy'ego jest odpowiednie. W przypadku VQE mamy kontrprzykład na twierdzenie, że lemat Levy'ego „zawsze” ma zastosowanie. Przeciwnym przykładem, w którym Lemma Levy'ego nie ma zastosowania, jest czas $H$ jest molekularnym hamiltonianem i $|\Psi\rangle$ jest funkcją falową CI .

użytkownik1271772
źródło