Wielomianowa utrata logistyczna vs (Entropia krzyżowa vs błąd kwadratowy)

Zauważyłem, że Caffe (platforma do głębokiego uczenia się) używała Softmax Loss Layer SoftmaxWithLoss jako warstwy wyjściowej dla większości próbek modelu .

O ile mi wiadomo, warstwa Softmax Loss jest połączeniem warstwy wielomianowej straty logistycznej i warstwy Softmax .

Powiedzieli to od Caffe

Obliczanie gradientu warstwy Softmax Loss Layer jest bardziej stabilne numerycznie

Jednak to wyjaśnienie nie jest odpowiedzią, której chcę, wyjaśnienie polega na porównaniu kombinacji warstwy wielomianowej straty logistycznej i warstwy utraty miękkiej warstwy zamiast warstwy po warstwie. Ale nie należy porównywać z innymi rodzajami funkcji strat.

Chciałbym jednak dowiedzieć się więcej o różnicach / zaletach / wadach tych 3 funkcji błędów, którymi są wielomianowe straty logistyczne , krzyżowa entropia (CE) i błąd kwadratowy (SE) w perspektywie nadzorowanego uczenia się? Jakieś artykuły pomocnicze?

multinomial entropy sums-of-squares softmax karfai
źródło

Tylko wskazówka: myślę, że szybciej uzyskasz odpowiedź, jeśli dodasz tag „caffe” do swoich pytań. Również umieszczenie go w stackoverflow zamiast stackexchange może dać więcej uwagi).

mcExchange

Ta kombinacja sprawia, że gradient jest łatwy do obliczenia, po prostu y-t. willamette.edu/~gorr/classes/cs449/classify.html

Jingpeng Wu

Odpowiedzi:

Moim zdaniem funkcja straty jest funkcją celu, w której chcemy, aby nasze sieci neuronowe optymalizowały jej wagi zgodnie z nią. Dlatego jest on specyficzny dla zadania, a także w pewien sposób empiryczny. Dla jasności, wielomianowa utrata logistyczna i strata między Entropiami są takie same (patrz http://ufldl.stanford.edu/wiki/index.php/Softmax_Regression ). Funkcja kosztu wielomianowej straty logistycznej wygląda następująco: $J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right].$

Zwykle stosuje się go do problemu klasyfikacji. Błąd kwadratowy jest równanie postaci $\frac 1 {2N} \sum_{i=1}^N \| x^1_i - x^2_i \|_2^2.$

Dlatego zwykle stosuje się go w celu zminimalizowania błędów konstrukcyjnych.

EDYCJA: @MartinThoma Powyższa formuła wielomianowej straty logistycznej dotyczy tylko przypadku binarnego, w przypadku ogólnym powinna to być , gdzie K jest liczbą kategorii. $J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

beahacker
źródło

W Caffe MultinomialLogisticLoss to , więc kto się tutaj myli?

\frac{- 1}{N} \sum_{n = 1}^{N} \log (p_{n, l_{n}})

$\frac{-1}{N}\sum_{n=1}^{N}\log(p_{n,l_n})$

moi

Nie jest źle, to zmienne binarne, w końcu można je zredukować do formuły.

y^{i}

$y^i$

beahacker

Myślałem, że utrata logistyczna wielu wiadomości nie ma drugiego podsumowania, więc

J (θ) = - \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} \log h_{θ} (x^{(i)})]

$J(\theta) = - \frac{1}{m} [\sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)})]$

Martin Thoma,

@MartinThoma Moja formuła dotyczy tylko przypadku binarnego, w przypadku ogólnym powinna to być

J (θ) = - [\sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log P (y^{(i)} = k | x^{(i)}; θ)]

$J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

beahacker

@beahacker Czy mógłbyś mi powiedzieć, dlaczego drugie spotkanie nie jest uwzględnione w przypadku wielomianowym, jak zauważył Martin Thoma. Próbuję zrozumieć, dlaczego tak się dzieje. Przynajmniej możesz wskazać mi jakiś zasób do zbadania.

Nandeesh

Chciałbym dowiedzieć się więcej o różnicach / zaletach / wadach tych 3 funkcji błędów, którymi jest wielomianowa utrata logistyczna, krzyżowa entropia (CE) i błąd kwadratowy (SE) w perspektywie nadzorowanego uczenia się?

Wielomianowa strata logistyczna jest w rzeczywistości taka sama jak entropia krzyżowa. Spójrz na tę funkcję (funkcja kosztu w softmax ): gdzie m to numer próbki, K to numer klasy.

J (θ) = - \sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log p (y^{(i)} = k ∣ x^{(i)}; θ)

$J( \theta ) = - \sum^m_{i=1} \sum^K_{k=1} 1 \{ y^{(i)} = k \} \log p(y^{(i)} = k \mid x^{(i)} ; \theta)$

Funkcja wskaźnika ( ) określa, czy poniżej ma wartość 0 czy 1 w definicji entropii krzyżowej , która jest oznaczona jako jedna „gorąca” w danych treningowych, a jest warunkowym prawdopodobieństwem softmax (q (x) jak pokazano poniżej). $1 \{ y^{(i)} = k \}$ $p(x)$ $p(y^{(i)} = k \mid x^{(i)} ; \theta)$

- \sum_{x} p (x) \log q (x)

$-\sum_x p(x) \log q(x)$

A MSE jest głównie w sytuacji, gdy funkcja połączenia jest funkcją jedności (rozkład odpowiedzi następuje po rozkładzie normalnym), standardowa regresja liniowa, podczas gdy entropia krzyżowa jest zwykle w przypadku, gdy funkcja połączenia jest funkcją logit. Oto niesamowite porównanie, do którego możesz się odnieść.

Jakieś artykuły pomocnicze?

Oprócz tych w linkach, polecam to ilustrujące: https://github.com/rasbt/python-machine-learning-book/blob/master/faq/softmax_regression.md

Lerner Zhang
źródło

MSE zastosowane do (binarnego) klasyfikatora nazywa się wynikiem Briera.

Dave

KRÓTKA ODPOWIEDŹ Zgodnie z innymi odpowiedziami Wielomianowa utrata logistyczna i strata z powodu entropii krzyżowej są takie same.

Cross Entropy Loss to alternatywna funkcja kosztu dla NN z wprowadzoną sztucznie funkcją aktywacji sigmoidów, aby wyeliminować zależność od od równań aktualizacji. Czasami ten termin spowalnia proces uczenia się. Alternatywne metody to regularyzowana funkcja kosztów. $\sigma'$

W tego typu sieciach można chcieć mieć prawdopodobieństwa jako dane wyjściowe, ale nie dzieje się tak w przypadku sigmoidów w sieci wielomianowej. Funkcja softmax normalizuje wyjścia i wymusza ich w zakresie . Może to być przydatne na przykład w klasyfikacji MNIST. $[0,1]$

DŁUGA ODPOWIEDŹ Z NIEKTÓRYMI BADANIAMI

Odpowiedź jest dość długa, ale spróbuję podsumować.

Pierwszymi nowoczesnymi sztucznymi neuronami, które zostały zastosowane, są sigmoidy, których funkcją jest:

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1+e^{-x}}$ który ma następujący kształt:

Krzywa jest ładna, ponieważ gwarantuje, że moc wyjściowa mieści się w zakresie . $[0,1]$

Jeśli chodzi o wybór funkcji kosztu, naturalnym wyborem jest kwadratowa funkcja kosztu, której pochodna jest gwarantowana i wiemy, że ma minimum.

Teraz rozważmy NN z sigmoidami wyszkolonymi z kwadratową funkcją kosztu, z warstwami $L$

Definiujemy funkcję kosztu jako sumę kwadratów błędów w warstwie wyjściowej dla zestawu danych wejściowych : $X$

C = \frac{1}{2 N} \sum_{x}^{N} \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \frac{1}{2N}\sum_x^N\sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

gdzie jest j-tym neuronem w warstwie wyjściowej , pożądaną mocą wyjściową, a jest liczbą przykładów treningowych. $a_j^L$ $L$ $y_j$ $N$

Dla uproszczenia rozważmy błąd dla pojedynczego wejścia:

C = \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

Teraz wyjście aktywacji neuronu w warstwie , wynosi: $j$ $\ell$ $a_j^\ell$

a_{j}^{ℓ} = \sum_{k} w_{j k}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ} = w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ}

$a_j^\ell = \sum_k w_{jk}^\ell \cdot a_j^{\ell-1}+b_j^\ell = \mathbf{w}_{j}^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell$

Przez większość czasu (jeśli nie zawsze) NN trenuje się przy użyciu jednej z technik opadania gradientu, która zasadniczo polega na aktualizacji wag i odchyleń małymi krokami w kierunku kierunku minimalizacji. Celem jest zastosowanie niewielkiej zmiany wag i odchyleń w kierunku, który minimalizuje funkcję kosztów. $w$ $b$

W przypadku małych kroków obowiązują następujące zasady:

Δ C \approx \frac{\partial C}{\partial v_{i}} Δ v_{i}

$\Delta C \approx \frac{\partial C}{\partial v_i}\Delta v_i$

Nasze to wagi i uprzedzenia. Będąc funkcją kosztu chcemy zminimalizować, tj. Znaleźć właściwą wartość . Załóżmy, że wybieramy , a następnie: $v_i$ $\Delta v_i$

Δ v_{i} = - η \frac{\partial C}{\partial v_{i}}

$\Delta v_i = -\eta \frac{\partial C}{\partial v_i}$

Δ C \approx - η (\frac{\partial C}{\partial v_{i}})

$\Delta C \approx -\eta \left(\frac{\partial C}{\partial v_i}\right)$

co oznacza, że zmiana w parametrze zmniejszyła funkcji kosztu poprzez . $\Delta v_i$ $\Delta C$

Rozważ ty wyjściowy neuron: $j$

C = \frac{1}{2} (y (x) - a_{j}^{L} (x)^{2}

$C = \frac{1}{2}(y(x)-a_j^L(x)^2$

a_{j}^{L} = σ = \frac{1}{1 + e^{- (w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ})}}

$a_j^L =\sigma = \frac{1}{ 1+e^{ -(\mathbf{w}_j^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell)}}$

Załóżmy, że chcemy zaktualizować wagę która jest wagą od neuronu w warstwie do -tego neuronu w warstwie \ ell. Potem będzie: $w_{jk}^\ell$ $k$ $\ell-1$ $j$

w_{j k}^{ℓ} \Rightarrow w_{j k}^{ℓ} - η \frac{\partial C}{\partial w_{j k}^{ℓ}}

$w_{jk}^\ell \Rightarrow w_{jk}^\ell -\eta \frac{\partial C}{\partial w_{jk}^\ell}$

b_{j}^{ℓ} \Rightarrow b_{j}^{ℓ} - η \frac{\partial C}{\partial b_{j}^{ℓ}}

$b_{j}^\ell \Rightarrow b_{j}^\ell -\eta \frac{\partial C}{\partial b_{j}^\ell}$

Biorąc pochodne za pomocą reguły łańcucha:

\frac{\partial C}{\partial w_{j k}^{ℓ}} = (a_{j}^{L} (x) - y (x)) σ^{'} a_{k}^{ℓ - 1}

$\frac{\partial C}{\partial w_{jk}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma' a_k^{\ell-1}$

\frac{\partial C}{\partial b_{j}^{ℓ}} = (a_{j}^{L} (x) - y (x)) σ^{'}

$\frac{\partial C}{\partial b_{j}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma'$

Widzisz zależność od pochodnej sigmoidu (w pierwszym jest wrt w drugim wrt , ale to niewiele się zmienia, ponieważ oba są wykładnikami). $w$ $b$

Teraz pochodną dla ogólnej pojedynczej zmiennej sigmoid jest: $z$

\frac{d σ (z)}{d z} = σ (z) (1 - σ (z))

$\frac{d \sigma(z)}{d z} = \sigma(z)(1-\sigma(z))$

Rozważmy teraz neuron z jednym wyjściem i załóżmy, że neuron powinien wyprowadzić zamiast tego wyprowadza wartość bliską : zobaczysz oba na wykresie, że sigmoid dla wartości bliskich jest płaski, tj. Jego pochodna jest bliska , tj. aktualizacje parametru są bardzo wolne (ponieważ równania aktualizacji zależą od . $0$ $1$ $1$ $0$ $\sigma'$

Motywacja funkcji entropii krzyżowej

Aby zobaczyć, jak pierwotnie wyprowadzono entropię krzyżową, załóżmy, że właśnie odkryłeś, że termin spowalnia proces uczenia się. Możemy się zastanawiać, czy możliwe jest wybranie funkcji kosztu, aby zniknął termin . Zasadniczo można chcieć: $\sigma'$ $\sigma'$

\begin{aligned} \frac{\partial C}{\partial w} & = x (a - y) \\ \frac{\partial C}{\partial b} = (a - y) \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial C}{\partial w} & =x \left( a - y\right)\\ \frac{\partial C}{\partial b} =\left( a - y\right) \end{aligned} \end{equation}$ Z reguły łańcuchowej mamy: Porównując pożądane równanie z regułą łańcucha, otrzymujemy Używając metody ukrywania:

\frac{\partial C}{\partial b} = \frac{\partial C}{\partial a} \frac{\partial a}{\partial b} = \frac{\partial C}{\partial a} σ^{'} (z) = \frac{\partial C}{\partial a} σ (1 - σ)

$\begin{equation} \frac{\partial C}{\partial b} =\frac{\partial C}{\partial a} \frac{\partial a}{\partial b } =\frac{\partial C}{\partial a}\sigma'(z) = \frac{\partial C}{\partial a} \sigma(1-\sigma) \end{equation}$

\frac{\partial C}{\partial a} = \frac{a - y}{a (1 - a)}

$\begin{equation} \frac{\partial C}{\partial a} = \frac{a-y}{a(1-a)} \end{equation}$

\frac{\partial C}{\partial a} = - [y \ln a + (1 - y) \ln (1 - a)] + c o n s t

$\begin{equation} \frac{\partial C}{\partial a} = -\left[ y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$ Aby uzyskać funkcję pełnego kosztu, musimy uśrednić wszystkie próbki szkoleniowe gdzie stała tutaj jest średnią poszczególnych stałych dla każdego przykładu szkolenia.

\frac{\partial C}{\partial a} = - \frac{1}{n} \sum_{x} [y \ln a + (1 - y) \ln (1 - a)] + c o n s t

$\begin{equation} \frac{\partial C}{\partial a} = -\frac{1}{n}\sum_x\left[y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$

Istnieje standardowy sposób interpretacji entropii krzyżowej pochodzącej z dziedziny teorii informacji. Z grubsza mówiąc, chodzi o to, że entropia krzyżowa jest miarą zaskoczenia. Dostajemy małą niespodziankę, jeśli wynik jest tym, czego oczekujemy ( ), i wysoką niespodziankę, jeśli wynik jest nieoczekiwany. $a$ $y$

Softmax

W przypadku klasyfikacji binarnej entropia krzyżowa przypomina definicję w teorii informacji, a wartości można nadal interpretować jako prawdopodobieństwa.

W przypadku klasyfikacji wielomianowej nie jest to już prawdą: dane wyjściowe odnotowują sumę do . $1$

Jeśli chcesz, aby sumowały się do , użyj funkcji softmax, która normalizuje wyjścia tak, że suma wynosi . $1$ $1$

Również, jeśli warstwa wyjściowa składa się z funkcji softmax, składnik spowalniający nie jest obecny. Jeśli użyjesz funkcji kosztu prawdopodobieństwa logarytmicznego z warstwą wyjściową softmax, w wyniku otrzymasz formę pochodnych cząstkowych, a następnie równania aktualizacyjne, podobne do tych znalezionych dla funkcji entropii krzyżowej z neuronami esowatymi

jednak

Francesco Boi
źródło