Prawdopodobieństwo krzyżowe lub prawdopodobieństwo dziennika w warstwie wyjściowej

Przeczytałem tę stronę: http://neuralnetworksanddeeplearning.com/chap3.html

i powiedział, że sigmoidalna warstwa wyjściowa z entropią krzyżową jest dość podobna do warstwy wyjściowej softmax z prawdopodobieństwem logarytmicznym.

co się stanie, jeśli użyję sigmoid z logarytmem prawdopodobieństwa lub softmax z entropią krzyżową w warstwie wyjściowej? czy to w porządku? ponieważ widzę, że istnieje niewielka różnica w równaniu między entropią krzyżową (równ. 57):

C = - \frac{1}{n} \sum_{x} (y \ln a + (1 - y) \ln (1 - a))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

i prawdopodobieństwo dziennika (równ. 80):

C = - \frac{1}{n} \sum_{x} (\ln a_{y}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax malioboro
źródło

Prawdopodobieństwo dziennika ujemnego (równanie 80) jest również znane jako wieloklasowa entropia krzyżowa (patrz: Rozpoznawanie wzorców i uczenie maszynowe, sekcja 4.3.4), ponieważ w rzeczywistości są to dwie różne interpretacje tej samej formuły.

równanie.57 jest ujemnym prawdopodobieństwem logarytmicznym rozkładu Bernoulliego, podczas gdy równanie 80 jest ujemnym logarytmicznym prawdopodobieństwem rozkładu wielomianowego z jedną obserwacją (wersja wieloklasowa Bernoulliego).

W przypadku problemów z klasyfikacją binarną funkcja softmax wyprowadza dwie wartości (od 0 do 1 i sumę do 1), aby podać prognozę dla każdej klasy. Podczas gdy funkcja sigmoid wypisuje jedną wartość (od 0 do 1), aby dać prognozę jednej klasy (więc druga klasa to 1-p).

Zatem równanie 80 nie może być bezpośrednio stosowane do wyjścia sigmoidalnego, chociaż jest to zasadniczo ta sama strata co równanie 55.

Zobacz także tę odpowiedź .

Poniżej przedstawiono prostą ilustrację związku między (sigmoid + binarna entropia krzyżowa) a (softmax + multiklasowa entropia krzyżowa) w przypadku problemów z klasyfikacją binarną.

$0.5$

σ (w x + b) = 0.5

$\sigma(wx+b)=0.5$

w x + b = 0

$wx+b=0$

\frac{e^{w_{1} x + b_{1}}}{e^{w_{1} x + b_{1}} + e^{w_{2} x + b_{2}}} = 0.5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

e^{w_{1} x + b_{1}} = e^{w_{2} x + b_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

w_{1} x + b_{1} = w_{2} x + b_{2}

$w_1x+b_1=w_2x+b_2$

(w_{1} - w_{2}) x + (b_{1} - b_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

Poniżej przedstawiono granice decyzji uzyskane przy użyciu tych dwóch metod, które są prawie identyczne.

dontloo
źródło

Do jakich równań się odwołujesz? W książce równania są ponumerowane inaczej. Może to jest konkretne wydanie książki? Czy możesz to wyjaśnić? Patrzę na książkę na users.isr.ist.utl.pt/~wurmd/Livros/school/… , strona 209 (sekcja 4.3.4).

nbro

@nbro ah przepraszam za zamieszanie, miałem na myśli równania na linkowanej stronie podane w pytaniu.

dontloo

Prawdopodobieństwo krzyżowe lub prawdopodobieństwo dziennika w warstwie wyjściowej

Odpowiedzi: