Moi profesorowie fizyki w szkole gradowej, a także szlachetny laureat Feynman, zawsze prezentowali tak zwane modele zabawek, aby zilustrować podstawowe pojęcia i metody w fizyce, takie jak oscylator harmoniczny, wahadło, bączek i czarna skrzynka.
Jakie modele zabawek służą do zilustrowania podstawowych pojęć i metod leżących u podstaw zastosowania sieci neuronowych? (Referencje proszę.)
Przez model zabawkowy rozumiem szczególnie prostą sieć o minimalnej wielkości, stosowaną do wysoce ograniczonego problemu, za pomocą którego można przedstawić podstawowe metody, a zrozumienie przetestować i ulepszyć poprzez faktyczną implementację, tj. Zbudowanie podstawowego kodu i najlepiej do pewnego stopnia robienie / sprawdzanie podstawowej matematyki ręcznie lub przy pomocy symbolicznej aplikacji matematycznej.
źródło
Odpowiedzi:
Jednym z najbardziej klasycznych jest Perceptron w 2 wymiarach, który sięga lat 50. XX wieku. To dobry przykład, ponieważ jest to platforma startowa do bardziej nowoczesnych technik:
1) Nie wszystko można rozdzielić liniowo (stąd potrzeba nieliniowych aktywacji lub metod jądra, wielu warstw itp.).
2) Perceptron nie zbiegnie się, jeśli danych nie da się rozdzielić liniowo (ciągłe miary separacji, takie jak softmax, spadek szybkości uczenia się itp.).
3) Chociaż istnieje nieskończenie wiele rozwiązań podziału danych, jasne jest, że niektóre są bardziej pożądane niż inne (maksymalna separacja granic, SVM itp.)
W przypadku wielowarstwowych sieci neuronowych możesz polubić przykłady klasyfikacji zabawek, które są dostarczane z tą wizualizacją .
W przypadku sieci neuronowych splotowych MNIST jest klasycznym złotym standardem z uroczą wizualizacją tu i tutaj .
W przypadku RNN bardzo prostym problemem, który mogą rozwiązać, jest dodanie binarne , które wymaga zapamiętania 4 wzorców.
źródło
Problem XOR jest prawdopodobnie kanonicznym problemem zabawki ANN.
Richard Bland Czerwiec 1998 Uniwersytet Stirling, Wydział Informatyki i Matematyki Informatyka Raport techniczny „ Nauka XOR: badanie przestrzeni klasycznego problemu ”
TensorFlow Playground to interaktywny interfejs do kilku sieci neuronowych, w tym zabawki XOR i Jelly Roll.
Obliczanie największej wartości własnej macierzy symetrycznej o stałym rozmiarze (2x2 lub 3x3) jest tym, którego używam w pokazach klasowych.
A. Cichocki i R. Unbehauen. „ Sieci neuronowe do obliczania wartości własnych i wektorów własnych ” Cybernetyka biologiczna grudzień 1992, tom 68, wydanie 2, s. 155–164
Problemy takie jak MNIST są zdecydowanie kanoniczne, ale nie można ich łatwo zweryfikować ręcznie - chyba że masz dużo wolnego czasu. Kod nie jest też szczególnie prosty.
Jeśli chodzi o zadania NLP, Penn Tree Bank jest bardzo standardowym zestawem danych porównawczych, wykorzystywanym na przykład w pracach Wojciecha Zaremby, Ilyi Sutskever, Oriola Vinyalsa „ Recurrent Neural Network Regulararyzacja ” i prawdopodobnie setki innych artykułów.
źródło
Nie znam fizycznej zabawki, ale najlepszym przykładem, jaki znam, jest wielowarstwowa sztuczna inteligencja wygenerowana za pomocą algorytmu genetycznego do gry w Super Mario Brothers. Kod źródłowy znajduje się w opisie filmu.
MarI / O - Machine Learning dla gier wideo: https://www.youtube.com/watch?v=qv6UVOQ0F44
źródło