Próbuję zrozumieć znormalizowaną formę punktowej wzajemnej informacji.
Dlaczego prawdopodobieństwo połączenia logarytmicznego normalizuje punktowe wzajemne informacje na poziomie [-1, 1]?
Punktowa wzajemna informacja to:
p (x, y) jest ograniczone przez [0, 1], więc log (p (x, y)) jest ograniczony przez (, 0). Wydaje się, że log (p (x, y)) powinien w jakiś sposób równoważyć zmiany w licznik, ale nie rozumiem dokładnie jak. Przypomina mi również entropię , ale znowu nie rozumiem dokładnego związku.
Odpowiedzi:
Z pozycji w Wikipedii na temat punktowych wzajemnych informacji :
Dlaczego tak się dzieje? Cóż, definicja punktowej wzajemnej informacji to
podczas gdy dla znormalizowanych punktowych informacji wzajemnych jest:
Kiedy są:
źródło
Chociaż odpowiedź Piotra Migdala ma charakter informacyjny, podając przykłady, w których nmpi osiąga trzy skrajne wartości, nie dowodzi, że jest w przedziale[ - 1 , 1 ] . Oto nierówność i jej wyprowadzenie.
≤==≤logp ( x , y)logp ( x , y) ) - logp ( x ) - logp ( y)logp ( x , y)p ( x ) p ( y)= : pmi ( x ; y)logp ( y| x)+logp ( y| x)-logp ( x , y)- logp ( x , y)
tak jak - logp ( A ) ≥ 0 na każde wydarzenie ZA . Dzielenie obu stron przez nieujemneh ( x , y) : = - logp ( x , y) , mamy
- 1 ≤ nmpi ( x ; y) : =mpi (x; y)h ( x , y)≤ 1
źródło