Ikoniczne (zabawkowe) modele sieci neuronowych

18

Moi profesorowie fizyki w szkole gradowej, a także szlachetny laureat Feynman, zawsze prezentowali tak zwane modele zabawek, aby zilustrować podstawowe pojęcia i metody w fizyce, takie jak oscylator harmoniczny, wahadło, bączek i czarna skrzynka.

Jakie modele zabawek służą do zilustrowania podstawowych pojęć i metod leżących u podstaw zastosowania sieci neuronowych? (Referencje proszę.)

Przez model zabawkowy rozumiem szczególnie prostą sieć o minimalnej wielkości, stosowaną do wysoce ograniczonego problemu, za pomocą którego można przedstawić podstawowe metody, a zrozumienie przetestować i ulepszyć poprzez faktyczną implementację, tj. Zbudowanie podstawowego kodu i najlepiej do pewnego stopnia robienie / sprawdzanie podstawowej matematyki ręcznie lub przy pomocy symbolicznej aplikacji matematycznej.

Tom Copeland
źródło
@Sycorax, świetnie, ale odnosi się do 1 i 3.
Tom Copeland
2
Masz na myśli Nobla, a nie Szlachetnego.
Ruslan
@ Ruslan, jest to dość powszechny błąd. Tak się cieszę, widząc, że ty i dwaj inni uważacie to za tak stymulujące / motywujące, że pozwolę, by podobały się temu osobowości.
Tom Copeland

Odpowiedzi:

14

Jednym z najbardziej klasycznych jest Perceptron w 2 wymiarach, który sięga lat 50. XX wieku. To dobry przykład, ponieważ jest to platforma startowa do bardziej nowoczesnych technik:

1) Nie wszystko można rozdzielić liniowo (stąd potrzeba nieliniowych aktywacji lub metod jądra, wielu warstw itp.).

2) Perceptron nie zbiegnie się, jeśli danych nie da się rozdzielić liniowo (ciągłe miary separacji, takie jak softmax, spadek szybkości uczenia się itp.).

3) Chociaż istnieje nieskończenie wiele rozwiązań podziału danych, jasne jest, że niektóre są bardziej pożądane niż inne (maksymalna separacja granic, SVM itp.)

W przypadku wielowarstwowych sieci neuronowych możesz polubić przykłady klasyfikacji zabawek, które są dostarczane z tą wizualizacją .

W przypadku sieci neuronowych splotowych MNIST jest klasycznym złotym standardem z uroczą wizualizacją tu i tutaj .

W przypadku RNN bardzo prostym problemem, który mogą rozwiązać, jest dodanie binarne , które wymaga zapamiętania 4 wzorców.

Alex R.
źródło
+1 za szeroki zasięg NN! od perceptronu do RNN.
Haitao Du
Ładny. Rodzaj odpowiedzi, których szukam.
Tom Copeland,
Przepraszam, nie chciałem edytować twojej odpowiedzi - chciałem dodać ten akapit do mojego.
Sycorax mówi Przywróć Monikę
8
  1. Problem XOR jest prawdopodobnie kanonicznym problemem zabawki ANN.

    Richard Bland Czerwiec 1998 Uniwersytet Stirling, Wydział Informatyki i Matematyki Informatyka Raport techniczny „ Nauka XOR: badanie przestrzeni klasycznego problemu

  2. TensorFlow Playground to interaktywny interfejs do kilku sieci neuronowych, w tym zabawki XOR i Jelly Roll.

  3. Obliczanie największej wartości własnej macierzy symetrycznej o stałym rozmiarze (2x2 lub 3x3) jest tym, którego używam w pokazach klasowych.

    A. Cichocki i R. Unbehauen. „ Sieci neuronowe do obliczania wartości własnych i wektorów własnychCybernetyka biologiczna grudzień 1992, tom 68, wydanie 2, s. 155–164

Problemy takie jak MNIST są zdecydowanie kanoniczne, ale nie można ich łatwo zweryfikować ręcznie - chyba że masz dużo wolnego czasu. Kod nie jest też szczególnie prosty.

Jeśli chodzi o zadania NLP, Penn Tree Bank jest bardzo standardowym zestawem danych porównawczych, wykorzystywanym na przykład w pracach Wojciecha Zaremby, Ilyi Sutskever, Oriola Vinyalsa „ Recurrent Neural Network Regulararyzacja ” i prawdopodobnie setki innych artykułów.

Sycorax mówi Przywróć Monikę
źródło
-4

Nie znam fizycznej zabawki, ale najlepszym przykładem, jaki znam, jest wielowarstwowa sztuczna inteligencja wygenerowana za pomocą algorytmu genetycznego do gry w Super Mario Brothers. Kod źródłowy znajduje się w opisie filmu.

MarI / O - Machine Learning dla gier wideo: https://www.youtube.com/watch?v=qv6UVOQ0F44

Chloe
źródło
3
Możesz dokładnie przeczytać pytanie i pozostałe dwie odpowiedzi.
Tom Copeland,