Związek między szybkością uczenia się a liczbą ukrytych warstw?

10

Czy istnieje jakaś reguła praktyczna między głębokością sieci neuronowej a szybkością uczenia się? Zauważyłem, że im głębsza sieć, tym niższa musi być szybkość uczenia się.

Jeśli to prawda, dlaczego tak jest?

użytkownik_1177868
źródło
1
powiązana dyskusja na temat modelu wzmocnienia. stats.stackexchange.com/questions/168666/…
Haitao Du
Dyskusja zawiera przydatne informacje, ale nie odpowiada na moje pytanie. Czy mógłbyś to skomentować?
user_1177868
1
tak, dlatego umieściłem to w komentarzu, ale nie odpowiedziałem i głosowałem na wasze pytania.
Haitao Du

Odpowiedzi:

4

Tutaj udzielono odpowiedzi na to pytanie:

Czy w przypadku sieci neuronowych szybkość uczenia się powinna być w jakiś sposób proporcjonalna do rozmiarów warstw ukrytych? Czy powinny na siebie wpływać?

Krótka odpowiedź brzmi: tak, istnieje związek. Chociaż relacja nie jest tak trywialna, wszystko, co mogę powiedzieć, to to, że powierzchnia optymalizacji staje się bardziej złożona wraz ze wzrostem liczby ukrytych warstw, a zatem mniejsze wskaźniki uczenia się są ogólnie lepsze. Podczas gdy utrzymywanie się w lokalnych minimach jest możliwe przy niskim wskaźniku uczenia się, jest znacznie lepsze niż złożona powierzchnia i wysoki wskaźnik uczenia się.

ZERO
źródło