W uczeniu maszynowym ludzie mówią o funkcji celu, funkcji kosztu, funkcji straty. Czy to tylko różne nazwy tego samego? Kiedy ich używać? Jeśli nie zawsze odnoszą się do tej samej rzeczy, jakie są różnice?
80
W uczeniu maszynowym ludzie mówią o funkcji celu, funkcji kosztu, funkcji straty. Czy to tylko różne nazwy tego samego? Kiedy ich używać? Jeśli nie zawsze odnoszą się do tej samej rzeczy, jakie są różnice?
Odpowiedzi:
Nie są to bardzo surowe warunki i są ze sobą ściśle powiązane. Jednak:
Krótko mówiąc, powiedziałbym, że:
Funkcja straty jest częścią funkcji kosztu, która jest rodzajem funkcji celu.
źródło
Według prof. Andrew Ng (patrz slajdy na stronie 11),
Funkcja h (X) reprezentuje twoją hipotezę. Dla stałych parametrów dopasowania theta jest to funkcja cech X. Powiedziałbym, że można to również nazwać funkcją celu.
Funkcja kosztu J jest funkcją theta parametrów dopasowania. J = J (theta).
Według podręcznika Hastie i wsp. „Elements of Statistics Learning” , s. 37:
Wydaje się więc, że „funkcja straty” jest terminem nieco bardziej ogólnym niż „funkcja kosztu”. Jeśli szukasz „straty” w tym pliku PDF, myślę, że używają one „funkcji kosztu” i „funkcji straty” nieco synonimicznie.
Rzeczywiście, str. 502
Może te warunki istnieją, ponieważ ewoluowały niezależnie w różnych społecznościach akademickich. „Funkcja celu” to stary termin używany w badaniach operacyjnych i matematyce inżynierskiej. „Funkcja strat” może być częściej używana przez statystów. Ale spekuluję tutaj.
źródło
Słowami Andrew NG-
źródło
Z sekcji 4.3 „Głębokiego uczenia się” - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/
„Funkcja, którą chcemy zminimalizować lub zmaksymalizować, nazywa się funkcją celu lub kryterium. Kiedy ją minimalizujemy, możemy również nazwać ją funkcją kosztu, funkcją straty lub funkcją błędu. W tej książce używamy tych terminów zamiennie, chociaż niektóre publikacje dotyczące uczenia maszynowego przypisują specjalne znaczenie niektórym z tych terminów ”.
W tej książce przynajmniej strata i koszt są takie same.
źródło
Aby dać ci krótką odpowiedź, według mnie są one synonimami. Jednak funkcja kosztu jest używana częściej w problemie optymalizacji, a funkcja straty jest używana do szacowania parametrów.
źródło
Pojęcia funkcji kosztów i strat są synonimami, niektórzy nazywają to także funkcją błędu. Bardziej ogólnym scenariuszem jest najpierw zdefiniowanie funkcji celu, którą chcemy zoptymalizować. Ta funkcja celu może być
źródło
Właściwie być proste Jeśli masz m danych treningowych takich jak ten (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Używamy funkcji straty L (ycap, y), aby znaleźć stratę między ycap ay pojedynczego zestawu treningowego Jeśli chcemy znaleźć stratę między ycap ay całego zestawu treningowego, którego używamy funkcja kosztów.
Uwaga: - ycap oznacza wynik z naszego modelu, a y oznacza oczekiwany wynik
Uwaga: - Credit idzie Andrew ng Resource: sieć neuronowa coursera i głębokie uczenie się
źródło
Funkcja utraty oblicza błąd dla pojedynczego przykładu szkolenia, podczas gdy funkcja kosztu jest średnią funkcji utraty całego zestawu szkoleń.
źródło