Jakościowo czym jest Cross Entropy

To pytanie podaje ilościową definicję entropii krzyżowej pod względem jej wzoru.

Szukam bardziej hipotetycznej definicji, wikipedia mówi:

W teorii informacji entropia krzyżowa między dwoma rozkładami prawdopodobieństwa mierzy średnią liczbę bitów potrzebną do zidentyfikowania zdarzenia z zestawu możliwości, jeśli stosuje się schemat kodowania oparty na danym rozkładzie prawdopodobieństwa q, a nie na rozkładzie „prawdziwym” p .

Podkreśliłem tę część, która sprawia mi problemy w zrozumieniu tego. Chciałbym niezłą definicję, która nie wymaga oddzielnego (wcześniejszego) zrozumienia Entropy.

entropy information-theory Lyndon White
źródło

Pytasz o definicję cross- centropy, która jednocześnie definiuje samą entropię . I intuicyjnie, więc ... Jeśli masz problemy ze zrozumieniem samej koncepcji Entropy, dobrze byłoby najpierw zrozumieć podstawową koncepcję, a następnie dowolne z jej rozszerzeń.

Alecos Papadopoulos

Osobiście miałem podstawową wiedzę na temat Entropy (chociaż minęło prawie 12 miesięcy, odkąd go zastosowałem). Ale ilościowe wyrażenie Entropii powinno mieścić się w jednym krótkim akapicie, a entropia krzyżowa powinna zająć tylko jeszcze jeden. Dlatego uważam, że dobra odpowiedź może zawierać oba te elementy, aby czytelnik nie musiał odwoływać się w inne strony, aby je zrozumieć.

Lyndon White

Zobacz powiązane posty: stats.stackexchange.com/questions/66186/... i stats.stackexchange.com/questions/188903/...

kjetil b halvorsen

Odpowiedzi:

Aby zakodować zdarzenie występujące z prawdopodobieństwem , potrzebujesz przynajmniej $p$ bitów (dlaczego? Zobaczmoją odpowiedź na temat: Jaka jest rola logarytmu w entropii Shannona?). $\log_2(1/p)$

Zatem w optymalnym kodowaniu średnia długość zakodowanej wiadomości wynosi czylientropia Shannonapierwotnego rozkładu prawdopodobieństwa.

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}}),

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$

Jeśli jednak dla rozkładu prawdopodobieństwa zastosujesz kodowanie, które jest optymalne dla innego rozkładu prawdopodobieństwa , wówczas średnia długość zakodowanej wiadomości wynosi $P$ $Q$ jestentropią krzyżową, która jest większa niż

\sum_{i} p_{i} code_length(i) = \sum_{i} p_{i} \log_{2} (\frac{1}{q_{i}}),

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

Jako przykład rozważmy alfabet czterech liter (A, B, C, D), ale z A i B o tej samej częstotliwości, a C i D w ogóle się nie pojawiają. Więc prawdopodobieństwo jest $P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

Następnie, jeśli chcemy go optymalnie zakodować, kodujemy A jako 0, a B jako 1, więc otrzymujemy jeden bit zakodowanej wiadomości na jedną literę. (I to jest właśnie entropia Shannona naszego rozkładu prawdopodobieństwa.)

$P$ $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$

Piotr Migdal
źródło

Ładne wyjaśnienie, dzięki. Jednak definicja Wikipedii to sum_i [p_i * log (q_i)]. Twoje użycie 1 / q_i daje liczbę możliwych stanów, dlatego log_2 konwertuje to na liczbę bitów wymaganych do zakodowania jednego symbolu, ale strona wikipedia opisuje coś subtelnie innego.

redcalx

1 / q_{i}

$1/q_i$

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$