Ograniczenia standardowych algorytmów sieci neuronowej (takich jak backprop) są takie, że musisz podjąć decyzję projektową, ile ukrytych warstw i neuronów na warstwę chcesz. Zwykle szybkość uczenia się i uogólnienie są bardzo wrażliwe na te wybory. Z tego powodu algorytmy sieci neuronowej, takie jak korelacja kaskadowa, wzbudzają zainteresowanie. Zaczyna się od minimalnej topologii (tylko jednostka wejściowa i wyjściowa) i rekrutuje nowe ukryte jednostki w miarę postępu nauki.
Algorytm CC-NN został wprowadzony przez Fahlmana w 1990 r., A wersja cykliczna w 1991 r. Jakie są nowsze (po 1992 r.) Algorytmy sieci neuronowej, które zaczynają się od minimalnej topologii?
Powiązane pytania
CogSci.SE: Sieci neuronowe z biologicznie wiarygodnymi opisami neurogenezy
neural-networks
Artem Kaznatcheev
źródło
źródło
Odpowiedzi:
Niejawne pytanie brzmi: w jaki sposób można określić topologię / strukturę sieci neuronowej lub modelu uczenia maszynowego, aby model miał „odpowiedni rozmiar” i nie był zbytnio dopasowany / niedopasowany.
Od czasu korelacji kaskadowej w 1990 r. Istnieje teraz wiele metod wykonywania tego, wiele z nich o znacznie lepszych właściwościach statystycznych lub obliczeniowych:
źródło
Co powiesz na NeuroEvolution of Augmenting Topologies (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html
Wydaje się, że działa na proste problemy, ale jest NIESAMOWICIE powolny do zbiegania się.
źródło
Jak rozumiem, dzisiejszą sztuką jest „Uczenie się funkcji bez nadzoru i głębokie uczenie się”. w skrócie: sieć jest szkolona w sposób nienadzorowany, każda warstwa na raz:
źródło
Wspomniano już o NEAT (ewolucja neuronowa z topologiami rozszerzającymi). Istnieją postępy w tym zakresie, w tym specjacja i HyperNEAT. HyperNEAT wykorzystuje sieć „meta” w celu optymalizacji wagi w pełni połączonego fenotypu. Daje to sieciową „świadomość przestrzenną”, która jest nieoceniona w rozpoznawaniu obrazów i problemach z typem gry planszowej. Nie jesteś ograniczony do 2D. Używam go w 1D do analizy sygnału i 2D w górę jest możliwe, ale staje się ciężkie z powodu wymagań przetwarzania. Poszukaj prac Kena Stanleya i tam jest grupa na Yahoo. Jeśli masz problem, który można rozwiązać za pomocą sieci, może mieć zastosowanie NEAT i / lub HyperNEAT.
źródło
Istnieje dość niedawny artykuł na ten temat: RP Adams, H. Wallach i Zoubin Ghahramani. Poznanie struktury głębokich rzadkich modeli graficznych. Jest to nieco poza zwykłą społecznością sieci neuronowych i bardziej po stronie uczenia maszynowego. W pracy wykorzystano nieparametryczne wnioskowanie bayesowskie na strukturze sieci.
źródło