Załóżmy, że mam dwa zbiory i oraz łączny rozkład prawdopodobieństwa dla tych zbiorów . Niech i oznaczają brzegowe rozkładu ponad i odpowiednio.
Wspólna informacja między i jest zdefiniowana jako:
tzn. jest to średnia wartość punktowej wzajemnej informacji pmi .
Załóżmy, że znam górną i dolną granicę dla pmi : tj. Wiem, że dla wszystkich następujące blokady:
Jaka górna granica oznacza to dla . Oczywiście oznacza to , ale chciałbym ściślej związać, jeśli to możliwe. Wydaje się prawdopodobne, aby mnie, bo p określa rozkład prawdopodobieństwa i PMI nie może zająć jego maksymalną wartość (lub nawet być nieujemna) dla każdej wartości i .
Odpowiedzi:
Mój wkład składa się z przykładu. Ilustruje pewne ograniczenia, w jaki sposób można ograniczyć wzajemne informacje, biorąc pod uwagę granice wzajemnej informacji punktowej.
WziąćX=Y={1,…,n} i p(x)=1/n dla wszystkich x∈X . Dla dowolnego m∈{1,…,n/2} niech k>0 będzie rozwiązaniem równania
Z konstrukcji jasno wynika, że dla wszystkich x , y ∈ { 1 , … , n } i (po niektórych obliczeniach) I ( X ; Y ) = k n mpmi(x,y)∈{−k,k}, x,y∈{1,…,n}
z wzajemnego informowania zachowują się tak,k2/2dlak→0i jakokdlak→∞.
źródło
Nie jestem pewien, czy tego właśnie szukasz, ponieważ jest to głównie algebraiczne i nie do końca wykorzystuje właściwości p będące rozkładem prawdopodobieństwa, ale tutaj możesz spróbować.
Ze względu na granice pmi, wyraźniep(x,y)p(x)p(y)≤ek and thus p(x,y)≤p(x)p(y)⋅ek . We can substitute for p(x,y) in I(X;Y) to get I(X;Y)≤∑x,yp(x)p(y)⋅ek⋅log(p(x)p(y)⋅ekp(x)p(y))=∑x,yp(x)p(y)⋅ek⋅k
I'm not sure if that's helpful or not.
EDIT: Upon further review I believe this is actually less useful than the original upper bound of k. I won't delete this though in case it might hint at a starting point.
źródło