Dlaczego początkowe wagi sieci neuronowych są inicjowane jako liczby losowe? Czytałem gdzieś, że ma to na celu „przełamanie symetrii”, a to przyspiesza naukę sieci neuronowej. W jaki sposób przełamanie symetrii sprawia, że uczy się szybciej?
Czy zainicjowanie wag na 0 nie byłoby lepszym pomysłem? W ten sposób wagi będą mogły szybciej znaleźć swoje wartości (dodatnie lub ujemne)?
Czy istnieje jakaś inna filozofia leżąca u podstaw losowości wag oprócz nadziei, że przy inicjalizacji będą one bliskie optymalnym wartościom?