Architektury neuronowe: automatyczne projektowanie oparte na danych

Ostatnie postępy w sieciach neuronowych podsumowuje szereg nowatorskich architektur charakteryzujących się głównie rosnącą złożonością projektową. Od LeNet5 (1994) do AlexNet (2012), do Overfeat (2013) i GoogleLeNet / Inception (2014) i tak dalej ...

Czy jest jakaś próba umożliwienia maszynie podjęcia decyzji / zaprojektowania architektury, która ma być użyta w zależności od danych?

Możesz także zajrzeć do literatury na temat neuroewolucji . Przykłady:

• Zaremba, Wojciech. Ilya Sutskever. Rafał Józefowicz „ Badanie empiryczne cyklicznych architektur sieciowych. ” (2015): wykorzystał obliczenia ewolucyjne do znalezienia optymalnych struktur RNN.
• Franck Dernoncourt. „ Przyśrodkowa formacja siatkowa: neuronowy substrat do wyboru działania? Ocena za pomocą obliczeń ewolucyjnych. ”. Praca magisterska. École Normale Supérieure Ulm. 2011 r.
• Bayer, Justin, Daan Wierstra, Julian Togelius i Jürgen Schmidhuber. „ Ewolucja struktur komórek pamięci do uczenia się sekwencji ” . W Międzynarodowej Konferencji na temat sztucznych sieci neuronowych, s. 755–764. Springer Berlin Heidelberg, 2009 .: wykorzystał obliczenia ewolucyjne do znalezienia optymalnych struktur RNN.

Uczenie się o wzmocnieniu:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le i Jeff Dean. „Efektywne wyszukiwanie architektury neuronowej poprzez udostępnianie parametrów”. nadruk arXiv arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret i Le, Quoc V. Wyszukiwanie architektury neuronowej z nauką wzmocnienia. W ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. Nauka liczby neuronów w głębokich sieciach. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. Projektowanie architektury sieci neuronowych z wykorzystaniem Reinforcement Learning. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Wyszukiwanie architektury neuronowej z uczeniem się zbrojenia. https://arxiv.org/abs/1611.01578

Różne:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Nauka uczenia się poprzez opadanie gradientu przez opadanie gradientu. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Optymalizacja hiperparametrów sieci neuronowej za pomocą procesów Gaussa do klasyfikacji aktu dialogu , IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Witalij Kuzniecow, Mehryar Mohri i Scott Yang. „AdaNet: adaptacyjne uczenie strukturalne sztucznych sieci neuronowych”. nadruk arXiv arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Podejście, które uczy się zarówno struktury sieci, jak i jej wag.

Wygląda na to, że badania zmierzają w tym kierunku:

• Miconi, Thomas. „ Sieci neuronowe o zróżnicowanej strukturze. ”, ArXiv (2016): autor wprowadza koncepcję zróżnicowanej struktury sieci, aby uwzględnić ją w funkcji celu.

AutoML Google jest jednym z takich przykładów. Został z powodzeniem zastosowany w zestawie danych ImageNet, dzięki czemu NASNet , który w tym piśmie, przewyższył wszystkie inne modele pod względem dokładności. Główny artykuł jest tutaj:

Nauka zbywalnych architektur do skalowalnego rozpoznawania obrazów - Zoph, i in. glin.