Czy istnieje jakaś reguła praktyczna między głębokością sieci neuronowej a szybkością uczenia się? Zauważyłem, że im głębsza sieć, tym niższa musi być szybkość uczenia się.
Jeśli to prawda, dlaczego tak jest?
neural-networks
deep-learning
hyperparameter
rule-of-thumb
użytkownik_1177868
źródło
źródło
Odpowiedzi:
Tutaj udzielono odpowiedzi na to pytanie:
Krótka odpowiedź brzmi: tak, istnieje związek. Chociaż relacja nie jest tak trywialna, wszystko, co mogę powiedzieć, to to, że powierzchnia optymalizacji staje się bardziej złożona wraz ze wzrostem liczby ukrytych warstw, a zatem mniejsze wskaźniki uczenia się są ogólnie lepsze. Podczas gdy utrzymywanie się w lokalnych minimach jest możliwe przy niskim wskaźniku uczenia się, jest znacznie lepsze niż złożona powierzchnia i wysoki wskaźnik uczenia się.
źródło