Czy wartość wzajemnej informacji może być większa niż 1

Mam bardzo podstawowe wątpliwości. Przepraszam, jeśli to trochę irytuje. Wiem, że wartość wzajemnych informacji powinna być większa niż 0, ale czy powinna być mniejsza niż 1? Czy jest ograniczona jakąkolwiek górną wartością?

Dzięki, Amit.

information-theory mutual-information Amit
źródło

Odpowiedzi:

Tak, ma górną granicę, ale nie 1.

Informacja wzajemna (w bitach) wynosi 1, gdy dwie strony (statystycznie) dzielą jeden bit informacji. Mogą jednak udostępniać dowolne duże dane. W szczególności, jeśli dzielą 2 bity, to jest to 2.

$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Piotr Migdal
źródło

Jeśli dwie strony są zmiennymi binarnymi, tj. Każda z nich ma tylko dwa możliwe wyniki {0,1} , wówczas entropia maks. Na gdy i . Tak więc maksymalna wzajemna informacja dla dwóch zmiennych binarnych wynosi

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

Akseli Palén