Pytania oznaczone «gradient-descent»

Spadek gradientu jest iteracyjnym algorytmem optymalizacji pierwszego rzędu. Aby znaleźć lokalne minimum funkcji za pomocą opadania gradientu, należy wykonać kroki proporcjonalne do ujemnego gradientu (lub przybliżonego gradientu) funkcji w bieżącym punkcie. Dla stochastycznego spadku gradientu istnieje również znacznik [sgd].

25
Czy w przypadku problemów wypukłych gradient w Stochastic Descent Gradient (SGD) zawsze wskazuje na ekstremalną wartość globalną?

Biorąc pod uwagę funkcję wypukłego kosztu, wykorzystującą SGD do optymalizacji, będziemy mieli gradient (wektor) w pewnym punkcie podczas procesu optymalizacji. Moje pytanie brzmi: biorąc pod uwagę punkt na wypukłości, czy gradient wskazuje tylko w kierunku, w którym funkcja rośnie / zmniejsza...