Sortuj liczby, używając tylko 2 ukrytych warstw

10

Czytam kamień węgielny „ Sekwencja do nauki sekwencji za pomocą sieci neuronowych” Ilyi Sutskever i Quoc Le. Na pierwszej stronie krótko wspomina, że:

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size

Czy ktoś może pokrótce opisać, jak sortować liczby przy użyciu tylko 2 ukrytych warstw?

deep-learning Aerin
źródło

Odpowiedzi:

3

Przeprowadzając badania, znalazłem artykuł, który dowodzi, że sortowanie można wykonać z maksymalnie 3 warstwami, a ich rozwiązanie jest optymalne, jeśli ograniczysz wielkość sieci do wielomianowej wrt do liczby liczb wejściowych:

Głębokie efektywne sieci neuronowe dla problemów związanych z podziałem i pokrewnych , patrz Twierdzenie 7 na stronie 955 (strona 10 w pliku PDF).

Maximilian Janisch
źródło
1
Dziękujemy za znalezienie odpowiedniego artykułu! W rzeczywistości ten papier sortuje według „głębokości” 3, co wydaje się oznaczać tylko dwie ukryte warstwy. Zobacz także ich odniesienie 14, na którym polegają w dolnej granicy, „Progi obwodów ograniczonej głębokości” igi-web.tugraz.at/people/maass/psfiles/34o.pdf (także na ResearchGate) esp strony 131-132 (3) -4 w pdf).
Ben Reiniger