Wrażliwość BFGS na początkowe przybliżenia Hesji

Próbuję zaimplementować metodę Broyden-Fletcher-Goldfarb-Shanno, aby znaleźć minimum funkcji. Potrzebuję dwóch wstępnych domysłów$x_{-1}$ I $x_0$ oraz wstępne przybliżenie macierzy Hesji $B_0$. Jedyne wymagania, które znajduję$B_0$ jest to, że jeśli Hesjan jest symetryczny, pozytywnie określony, to samo powinno $B_0$. Patrząc na wikipedię, widzę, że typowe wstępne przybliżenie to$B_0=I$(matryca tożsamości). Czy to zawsze dobry inicjał$B_0$? Czy jest jakiś powód, dla którego mógłbym chcieć wybrać coś innego niż$I$? Czy inne wybory B, spełniające te same właściwości macierzy, miałyby duży wpływ na zbieżność metody?

Jeśli masz uzasadnione przybliżenie Hesji, lepiej jest użyć go zamiast arbitralnego $B_0=I$.

Edycja: uzasadnienie jest takie, że jeśli zaczniesz blisko rozwiązania $x^*$, początkowy wskaźnik konwergencji wynosi (dla dowolnego $r>0$) $r+1$-step liniowy za pomocą $r+1$-stopniowy współczynnik konwergencji wynoszący $q=\|B_0^{-1}f''(x^*)-G\|$Jeśli to jest przez pewien stopień korekcji macierzy tożsamości. Dlatego próba uczynienia tego małego jest bardzo cennym. (Jest to równoważne z kondycjonowaniem systemu.) Współczynnik zbieżności poprawia się z upływem czasu i ostatecznie zbliża się do zera (zbieżność superliniowa), ale w wielu rzeczywistych problemach (szczególnie wysokowymiarowych) nigdy nie wykonuje się wystarczającej liczby iteracji, aby osiągnąć reżim superlinearny. Zatem początkowa prędkość jest dość ważna.$<1$$r$$G$

Jednym z ważnych przypadków jest rozwiązanie nieliniowych problemów najmniejszych kwadratów (zminimalizuj ), gdzie aproksymacja Gaussa-Newtona początkowego Hesji obliczone bez potrzeby stosowania drugich instrumentów pochodnych. Użycie go sprawia, że ​​metoda BFGS zapewnia niezmiennik afiniczny, tj. Niezmiennik przy liniowych przekształceniach jak metoda Newtona, co jest zwykle bardzo korzystne.$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

Innym ważnym przypadkiem jest rozwiązanie sekwencji powiązanych problemów. Często ponowne uruchomienie solvera z ostatecznym przybliżeniem poprzedniego problemu w Hesji znacznie zmniejsza liczbę potrzebnych iteracji.