Mam problem z budowaniem intuicji na temat wspólnej entropii. = niepewność w łącznym rozkładzie ; = niepewność w ; = niepewność w .
Jeśli H (X) jest wysoki, rozkład jest bardziej niepewny, a jeśli znasz wynik takiego rozkładu, masz więcej informacji! Zatem H (X) również kwantyfikuje informacje.
Teraz możemy pokazać
Ale jeśli wiesz możesz dostać i w pewnym sensie ma więcej informacji niż oba i , więc czy niepewność związana z p (x, y) nie powinna być czymś więcej niż sumą poszczególnych niepewności?
źródło