Wyprowadzenie regularnej funkcji kosztu regresji liniowej na kurs Coursera Machine Learning

Kilka miesięcy temu wziąłem kurs Andrew Machine na „Machine Learning” przez Coursera, nie zwracając uwagi na większość matematyki / pochodnych i skupiając się na implementacji i praktyczności. Od tego czasu zacząłem wracać, aby studiować niektóre z podstawowych teorii i ponownie zapoznałem się z niektórymi wykładami prof. Ng. Czytałem przez jego wykład na temat „Regularnej regresji liniowej” i zobaczyłem, że dał on następującą funkcję kosztów:

$$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$$

Następnie podaje następujący gradient dla tej funkcji kosztu:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$$

Jestem trochę zdezorientowany tym, jak on przechodzi od jednego do drugiego. Kiedy próbowałem wykonać własną pochodną, ​​otrzymałem następujący wynik:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$$

Różnica polega na znaku „plus” między pierwotną funkcją kosztu a parametrem regularyzacji we wzorze prof. Ng zmieniającym się w znak „minus” w jego funkcji gradientu, podczas gdy tak się nie dzieje w moim wyniku.

Intuicyjnie rozumiem, dlaczego jest on ujemny: zmniejszamy parametr theta o wartość gradientu i chcemy, aby parametr regularyzacji zmniejszał ilość zmienianego parametru, aby uniknąć przeregulowania. Trochę utknąłem na rachunku różniczkowym, który popiera tę intuicję.

Do zobaczenia tutaj talię na slajdach 15 i 16.

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Teraz

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

Pamiętaj, że w modelu liniowym (omawianym na stronach, o których wspominasz), $\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

Tak w przypadku przypadku liniowego

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Wygląda na to, że ty i Andrew moglibyście mieć literówki. Wydaje się, że przynajmniej dwóch z nas trzech.

W rzeczywistości, jeśli sprawdzisz notatki z wykładu tuż po wideo, poprawnie pokazuje formułę. Umieszczone tu slajdy pokazują dokładny slajd wideo.

Właściwie myślę, że to tylko literówka.

Na slajdzie nr 16 pisze pochodną funkcji kosztu (wraz z terminem regularyzacji) w odniesieniu do theta, ale jest to w kontekście algorytmu spadku gradientu . Dlatego pomnaża także tę pochodną przez$-\alpha$. Uwaga: W drugiej linii (slajd 16) ma$-\lambda\theta$ (jak napisałeś), pomnożone przez $-\alpha$. Jednak w trzeciej linii pomnożony termin jest nadal ujemny chociaż - jeśli druga linia byłaby poprawna - znaki ujemne zostałyby anulowane.

Ma sens?