Funkcja błędu krzyżowej entropii w sieciach neuronowych

W MNIST For ML Beginners określają one jako entropię krzyżową

jest przewidywana wartość prawdopodobieństwa dla klasy í i y ' i jest prawdziwym prawdopodobieństwo dla tej klasy.$y_i$$i$$y_i'$

Pytanie 1

Nie jest to problem, który (w dzienniku ( y í ) ) może być 0? Oznaczałoby to, że mamy naprawdę zły klasyfikator. Ale pomyśl o błędzie w naszym zestawie danych, np. „Oczywistym” oznaczonym jako . Czy po prostu się zawiesi? Czy wybrany przez nas model (aktywacja softmax na końcu) w zasadzie nigdy nie podaje prawdopodobieństwa 0 dla właściwej klasy?$y_i$$\log(y_i)$13

pytanie 2

Nauczyłem się, że entropia krzyżowa jest zdefiniowana jako

Co jest poprawne? Czy masz jakieś odniesienia do podręczników dla którejkolwiek wersji? Czym różnią się te funkcje pod względem właściwości (jako funkcje błędów w sieciach neuronowych)?

Jednym ze sposobów interpretacji entropii krzyżowej jest postrzeganie jej jako (ujemnego) logarytmu prawdopodobieństwa dla danych $y_i'$ , zgodnie z modelem $y_i$ .

Załóżmy, że masz jakiś ustalony model (inaczej „hipoteza”), który przewiduje dla $n$ klas $\{1,2,\dots, n\}$ ich hipotetyczne prawdopodobieństwo wystąpienia $y_1, y_2,\dots, y_n$ . Załóżmy, że teraz obserwujesz (w rzeczywistości) $k_1$ instancji klasy $1$ , $k_2$ instancji klasy $2$ , $k_n$ instancji klasy $n$ itd. Według twojego modelu prawdopodobieństwo takiego zdarzenia wynosi:

Ponadto prawdopodobieństwo logarytmiczne zbioru danych dla danego modelu można interpretować jako miarę „długości kodowania” - liczby bitów, które spodziewasz się wydać, aby zakodować te informacje, jeśli schemat kodowania byłby oparty na twojej hipotezie.

Jest to zgodne z obserwacją, że zdarzenie niezależne z prawdopodobieństwem $y_i$ wymaga co najmniej $-\log_2 y_i$ bity kodować (zakładając skutecznego kodowania), a tym samym ekspresję

Wreszcie, zamiast mówić „miara oczekiwanej długości kodowania”, naprawdę lubię używać nieformalnego terminu „miara zaskoczenia”. Jeśli potrzebujesz wielu bitów do zakodowania oczekiwanego zdarzenia z dystrybucji, dystrybucja jest dla ciebie „naprawdę zaskakująca”.

Mając na uwadze te intuicje, odpowiedzi na pytania można zobaczyć w następujący sposób:

• Pytanie 1 . Tak. Jest to problem, gdy odpowiadające $y_i'$ jest niezerowe w tym samym czasie . Odpowiada to sytuacji, w której model uważa, że ​​niektóre klasy mają zerowe prawdopodobieństwo wystąpienia, a jednak klasa pojawia się w rzeczywistości. W rezultacie „niespodzianka” twojego modelu jest nieskończenie wielka: twój model nie uwzględnił tego zdarzenia i teraz potrzebuje nieskończenie wielu bitów, aby go zakodować. Właśnie dlatego otrzymujesz nieskończoność jako swoją entropię krzyżową.

  Aby uniknąć tego problemu, musisz upewnić się, że Twój model nie przyjmuje pochopnych założeń, że coś jest niemożliwe, dopóki może się to zdarzyć. W rzeczywistości ludzie używają funkcji sigmoidalnych lub „softmax” jako modeli hipotez, które są wystarczająco zachowawcze, aby pozostawić przynajmniej trochę szansy na każdą opcję.

  Jeśli użyjesz jakiegoś innego modelu hipotezy, to od Ciebie zależy uregulowanie go (inaczej „wygładzenie”), aby nie hipotezowało zer w miejscach, w których nie powinno.

• Pytanie 2 . W tym wzorze, zwykle przyjmuje się $y_i'$ być albo $0$ albo $1$ , a $y_i$ prawdopodobieństwo, hipotezę modelu dla odpowiedniego wejścia. Jeśli przyjrzysz się uważnie, zobaczysz, że jest to po prostu $-\log P[data|model]$ dla danych binarnych, odpowiednik drugiego równania w tej odpowiedzi.

  $$\sum_i H(y_i', y_i),$$ $y_i'$$y_i$$(y_i', 1-y_i')$$(y_i, 1-y_i)$

$i$$y_i'$

Oznacza to, że formuła wychwytuje błąd tylko w klasie docelowej. Odrzuca wszelkie pojęcia błędów, które można uznać za „fałszywie dodatnie”, i nie ma znaczenia, w jaki sposób rozkładane są przewidywane prawdopodobieństwa inne niż przewidywane prawdopodobieństwo prawdziwej klasy.

$\sum_i y_i = 1$

Pytanie 1

$y_i$$log(y_i)$

0$log(y_i)$$y_i'=0$log( max( y_predict, 1e-15 ) )

pytanie 2

$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log (1-y_i)})$

$i$$i$

Jeśli zmodyfikujesz taką sieć, aby mieć dwa przeciwstawne wyjścia i użyjesz softmax plus pierwsza definicja loglossa, wtedy zobaczysz, że w rzeczywistości jest to ten sam pomiar błędu, ale składany wskaźnik błędu dla dwóch klas w jedno wyjście.

Jeśli istnieje więcej niż jedna klasa do przewidzenia przynależności, a klasy nie są wyłączne, tj. Przykładem może być jedna lub wszystkie klasy w tym samym czasie, wówczas będziesz musiał użyć tego drugiego sformułowania. W przypadku rozpoznawania cyfr nie ma to miejsca (cyfra pisana powinna mieć tylko jedną „prawdziwą” klasę)

$y_{true}$$y_{predict}$$y_{true}$

Pierwsze pytanie:

Powyższa odpowiedź wyjaśniła tło twojej pierwszej formuły, entropię krzyżową zdefiniowaną w teorii informacji.

Z opinii innej niż teoria informacji:

możesz sprawdzić, czy pierwsza formuła nie ma kary za fałszywą pozytywność (prawda jest fałszywa, ale twój model przewiduje, że ma rację), podczas gdy druga ma karę za fałszywą pozytywność. Dlatego wybór pierwszej formuły lub drugiej wpłynie na twoje metryki (czyli także, jakiej wielkości statystycznej chcesz użyć do oceny modelu).

Jednym słowem:

Jeśli chcesz zaakceptować prawie wszystkich dobrych ludzi jako przyjaciół, ale chcesz zaakceptować, że niektórzy źli ludzie staną się Twoimi przyjaciółmi, użyj pierwszej formuły jako kryterium.

Jeśli chcesz ukarać siebie za akceptowanie złych ludzi na swoich przyjaciół, ale jednocześnie wskaźnik dobrych ludzi akceptujących może być niższy niż pierwszy warunek, użyj drugiej formuły.

Chociaż wydaje mi się, że większość z nas jest krytyczna i chciałaby wybrać drugą (tak wiele pakietów ML zakłada, że ​​jest to entropia krzyżowa).

Drugie Pytanie:

Zatem, gdy są tylko dwie klasy (K = 2), będziesz miał drugą formułę.

Te problemy rozwiązuje użycie softmax w tutorialu.

Dla 1) masz rację, że softmax gwarantuje niezerowe wyjście, ponieważ potęguje jego wejście. W przypadku aktywacji, które nie dają tej gwarancji (jak relu), wystarczy dodać bardzo mały dodatni termin do każdego wyjścia, aby uniknąć tego problemu.

Jeśli chodzi o 2), nie są one oczywiście takie same, ale ja załatwiona przeze mnie formuła softmax zajmuje się tym problemem. Jeśli nie użyjesz softmax, spowoduje to, że nauczysz się ogromnych terminów stronniczości, które odgadują 1 dla każdej klasy dla dowolnego wkładu. Ale ponieważ znormalizują softmax we wszystkich klasach, jedynym sposobem na maksymalizację wyniku prawidłowej klasy jest to, aby była ona duża w stosunku do niepoprawnych klas.

$y_i$$\log(y_i)$

$\log(0)$$\log(y_i + \epsilon)$

$H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i)$
$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log(1-y_i)})$

(a) jest poprawne w przypadku prognoz wieloklasowych (w rzeczywistości jest to podwójne sumowanie), (b) jest takie samo jak (a) w przypadku prognoz dwuklasowych. Oba są entropijne.

Przykład:

$x_i$$c_i' \in \{0, 1\}$$c_i \in [0, 1]$

$c_i'$$c_i$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y_i'$$y_i$

• $y_{ik}':=1$$c_i'=k$$:=0$

• $y_{ik}:=p(k|x_i)$$x_i$$k$

$(y_i', y_i)$

$(y_i', y_i)=\{([1, 0], [0.9, 0.1]),$ $([1, 0], [0.6, 0.4]),$ $([1, 0], [0.2, 0.8]),$ $([0, 1], [0.2, 0.8]),$ $([0, 1], [0.8, 0.2])\}$

Zarówno (a), jak i (b) oblicza się jako:

$H_{y'}(y)=-1/5([log(0.9)+log(0.6) + log(0.2)]_{c_i=0} + [log(0.8) + log(0.2)]_{c_i=1}) = 0.352$

Pochodzenie:

$1$$K$
$(x_i, c_i')$$c_i' = k$$y_i'=[0,..,1,0,..]$$k^{th}$$y_{ik}'=1$$y_{ik}=p(k|x_i)$$(x_i, k)$$-log(y_{ik})$$y_{ik} \rightarrow 1 \Rightarrow -log(y_{ik}) \rightarrow 0$

$L(y_i', y_i) = -\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{ik}' = 1$$k' \neq k$$0log(y_{ik'})=0$$y_{im}'=1$

$L(y_i', y_i)=-log(y_{im})$

Ostateczna formuła obejmująca wszystkie punkty treningowe to:

$H_{y'}(y)=-\sum_{(x_i, y_i')}\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{i0}' = 1 - y_{i1}'$$y_{i0} = 1 - y_{i1}$

$\begin{align*} H_{y'}(y)&=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+y_{i0}'log(y_{i0})\\ &=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+(1-y_{i1}')log(1-y_{i1}) \end{align*}$

który jest taki sam jak (b).

Entropia krzyżowa (a) ponad klasami (jedno sumowanie)

Cross-entropia (a) ponad klasami to:

$H_{y'}(y)=-\sum_{k=1}^{K}y_{k}'log(y_{k})$

Ta wersja nie może być używana do zadania klasyfikacji. Pozwala ponownie wykorzystać dane z poprzedniego przykładu:

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y'_0 = 3/5 = 0.6$$y'_1 = 0.4$

$y_0 = 3/5 = 0.6$$y_1 = 0.4$

$-y'_0logy_0 - y'_1logy_1 = - 0.6log(0.6) -0.4log(0.4) = 0.292$

$(0, 0.8)$$(1, 0.2)$$y'_0$$y'_1$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, \color{blue}{0.2}), (1, 0.8), (1, \color{blue}{0.8})\}$

$y'_0$$y_0=3/5$