Minimalna liczba warstw w głębokiej sieci neuronowej

W którym momencie zaczynamy klasyfikować wielowarstwowe sieci neuronowe jako głębokie sieci neuronowe, czy inaczej: „Jaka jest minimalna liczba warstw w głębokiej sieci neuronowej?”

„Głębokie” jest terminem marketingowym: możesz go zatem używać, gdy chcesz sprzedać swoją wielowarstwową sieć neuronową.

„Głęboka”
Jedna z najwcześniejszych głębokich sieci neuronowych ma trzy gęsto połączone ukryte warstwy ( Hinton i wsp. (2006) ).

„Very Deep”
W 2014 r. „Bardzo głębokie” sieci VGG Simonyan i in. (2014) składa się z ponad 16 ukrytych warstw.

„Niezwykle głęboka”
W 2016 r. „Bardzo głębokie” sieci resztkowe He i in. (2016) składa się z 50 do 1000+ ukrytych warstw.

Zgodnie z literaturą

Schmidhuber, J. (2015). „Dogłębne uczenie się w sieciach neuronowych: przegląd”. Sieci neuronowe. 61: 85–117. arXiv: 1404.7828 do przeczytania. doi: 10.1016 / j.neunet.2014.09.003.

https://en.wikipedia.org/wiki/Deep_learning

Mówi się, że

Nie ma powszechnie uzgodnionego progu dzielącego głębokość płytkiego uczenia się od głębokiego uczenia się, ale większość badaczy w tej dziedzinie zgadza się, że głębokie uczenie się ma wiele warstw nieliniowych (CAP> 2), a Schmidhuber uważa, że ​​CAP> 10 jest bardzo głębokim uczeniem się

Łańcuchem przekształceń od wejścia do wyjścia jest ścieżka przypisania kredytu lub WPR. W przypadku sprzężonej sieci neuronowej głębokość CAP, a tym samym głębokość sieci, to liczba ukrytych warstw plus jedna.