Zdobywanie informacji, wzajemne informacje i powiązane środki

Andrew More definiuje zdobywanie informacji jako:

$IG(Y|X) = H(Y) - H(Y|X)$

gdzie jest entropią warunkową . Jednak Wikipedia nazywa powyższą ilość wzajemnymi informacjami .$H(Y|X)$

Z kolei Wikipedia definiuje pozyskiwanie informacji jako rozbieżność Kullbacka-Leiblera (inaczej rozbieżność informacji lub entropia względna) między dwiema zmiennymi losowymi:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

gdzie jest zdefiniowane jako entropia krzyżowa .$H(P,Q)$

Te dwie definicje wydają się ze sobą niespójne.

Widziałem także innych autorów mówiących o dwóch dodatkowych powiązanych pojęciach, mianowicie entropii różnicowej i względnym uzyskiwaniu informacji.

Jaka jest dokładna definicja lub związek między tymi wielkościami? Czy istnieje dobry podręcznik, który obejmuje je wszystkie?

• Zysk informacji
• Wzajemne informacje
• Krzyżowanie entropii
• Entropia warunkowa
• Entropia różniczkowa
• Względny przyrost informacji

Myślę, że nazywanie dywergencji Kullbacka-Leiblera „zyskiem informacji” jest niestandardowe.

Pierwsza definicja jest standardowa.

EDYCJA: Jednak można również nazwać wzajemną informacją.$H(Y)−H(Y|X)$

Zauważ, że nie sądzę, abyś znalazł dyscyplinę naukową, która naprawdę ma ustandaryzowany, precyzyjny i spójny schemat nazewnictwa. Więc zawsze będziesz musiał spojrzeć na formuły, ponieważ zazwyczaj dają ci lepszy pomysł.

Podręczniki: patrz „Dobre wprowadzenie do różnych rodzajów entropii” .

Również: Cosma Shalizi: Metody i techniki nauki o złożonych systemach: Przegląd, rozdział 1 (s. 33-114) w Thomas S. Deisboeck i J. Yasha Kresh (red.), Complex Systems Science in Biomedicine http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Entropia i teoria informacji http://ee.stanford.edu/~gray/it.html

David MacKay: Teoria informacji, wnioskowanie i algorytmy uczenia się http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

także „Co to jest„ entropia i zdobywanie informacji ”?”

Rozbieżność Kullbacka-Leibera między i jest taka sama jak wzajemna informacja, którą można łatwo uzyskać:$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

Uwaga:$p(y) = \sum_x p(x,y)$

Wzajemne informacje można zdefiniować za pomocą Kullback-Liebler, ponieważ

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

Wydobywanie wzajemnych informacji z zestawów danych tekstowych jako funkcja do szkolenia modelu uczenia maszynowego: (zadaniem było przewidzenie wieku, płci i osobowości blogerów)

Obie definicje są poprawne i spójne. Nie jestem pewien, co wydaje ci się niejasne, gdy wskazujesz wiele punktów, które mogą wymagać wyjaśnienia.

$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$są różne nazwy dla tej samej rzeczy. W różnych kontekstach jedna z tych nazw może być lepsza, nazywam ją tutaj Informacje .

$D_{KL}$$K_{LD}$$K_{LD}$niezależny . Nazywamy to ilością informacji .

$\operatorname{H} (X,Y)$

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ $\operatorname{H}(X,Y)$$DKL(P||Q)=H(P,Q)−H(P)$$\operatorname{H}(P,Q)$

Wspólne -entropy i Krzyż -entropy to nie to samo.

$H_q(p)$

Mam nadzieję, że notacja ta zostanie zaakceptowana, a strony wiki zaktualizowane.