Metodę zero_grad()należy wywołać podczas treningu. Ale dokumentacja nie jest zbyt pomocna | zero_grad(self) | Sets gradients of all model parameters to zero. Dlaczego musimy wywołać tę metodę?
Czytam dokumentację PyTorch i znalazłem przykład, na którym piszą gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) gdzie x było początkową zmienną, z której skonstruowano y (3-wektor). Pytanie brzmi, jakie są argumenty 0,1, 1,0 i 0,0001 tensora gradientu?...
Zamknięte. To pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 5 dni temu . Popraw to pytanie...
Zauważyłem, że pojawia się częste zjawisko podczas treningu NAN. Często wydaje się, że jest on wprowadzany przez nadmuchiwanie ciężarów w warstwach produktu wewnętrznego / w pełni połączonych lub splotowych. Czy dzieje się tak, ponieważ obliczenia gradientu wybuchają? A może jest to...
Próbuję napisać własny algorytm zwiększania gradientu. Rozumiem, że są istniejące pakiety, jak gbmi xgboost,, ale chciałam zrozumieć, jak działa algorytm pisząc własną rękę. Korzystam z iriszestawu danych, a mój wynik jest Sepal.Length(ciągły). Moja funkcja straty to mean(1/2*(y-yhat)^2)(w...