Natknąłem się na kilka podstawowych sposobów pomiaru złożoności sieci neuronowych:
- Naiwne i nieformalne: policz liczbę neuronów, ukrytych neuronów, warstw lub ukrytych warstw
- Wymiar VC (Eduardo D. Sontag [1998] „Wymiar VC sieci neuronowych” [ pdf ].)
- Miara złożonej i asymptotycznej złożoności obliczeniowej kursu przez równoważność z .
Czy są inne alternatywy?
Preferowane jest:
- Jeśli metryka złożoności może być wykorzystana do pomiaru sieci neuronowych z różnych paradygmatów (do pomiaru propagacji wstecznej, sieci neuronowych dynamiki, korelacji kaskadowej itp.) Na tej samej skali. Na przykład wymiar VC może być stosowany do różnych typów w sieciach (a nawet do rzeczy innych niż sieci neuronowe), podczas gdy liczba neuronów jest przydatna tylko między bardzo konkretnymi modelami, w których funkcja aktywacji, sygnały (sumy podstawowe vs. skoki) i inne właściwości sieci są takie same.
- Jeśli ma niezłą zgodność ze standardowymi miarami złożoności funkcji, które można poznać w sieci
- Jeśli łatwo jest obliczyć metrykę w określonych sieciach (ta ostatnia nie jest jednak koniecznością).
Notatki
To pytanie jest oparte na bardziej ogólnym pytaniu na CogSci.SE.
neural-networks
theory
vc-dimension
pac-learning
Artem Kaznatcheev
źródło
źródło
Odpowiedzi:
Warto zajrzeć do artykułu „(Nie) Bounding the True Error” autorstwa Johna Langforda i Rich Caruana (NIPS, 2001)
Abstrakt stwierdza:
Pokazują, że można zastosować granice stylu PAC-Bayesa do stochastycznych sieci neuronowych. Jednak analiza dotyczy tylko 2-warstwowych sieci neuronowych z przekazywaniem sygnału z sigmoidalną funkcją przenoszenia. W takim przypadku termin złożoności zależy tylko od liczby węzłów i wariancji wag. Pokazują, że dla tego ustawienia granica skutecznie przewiduje, kiedy nastąpi nadmierny trening. Niestety tak naprawdę nie trafia w żadną z twoich „preferowanych” właściwości!
źródło
Ponadto może zainteresować Cię praca wymiaru miażdżąca tłuszcz, którą wykonał profesor Peter Bartlett. Oto wprowadzenie do analizy złożoności sieci neuronowej w artykule IEEE z 1998 r .: Przykładowa złożoność klasyfikacji wzorców w sieciach neuronowych: Wielkość wag jest ważniejsza niż rozmiar sieci (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]
źródło