Jak obliczyć wzajemne informacje?

Jestem trochę zmieszany. Czy ktoś może mi wyjaśnić, jak obliczyć wzajemne informacje między dwoma terminami w oparciu o matrycę termin-dokument z występowaniem terminów binarnych jako wag?

\begin{matrix} ^{'} W. h y^{'} & ^{'} H. o w^{'} & ^{'} W. h mi n^{'} & ^{'} W. h mi r {mi}^{'} \\ re o do u m mi n t 1 & 1 & 1 & 1 & 1 \\ re o do u m mi n t 2) & 1 & 0 & 1 & 0 \\ re o do u m mi n t 3) & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

ja (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

Dziękuję Ci

python information-theory mutual-information numpy pandas użytkownik18075
źródło

Co to są

X

$X$

Y

$Y$

Dilip Sarwate

X i Y są warunkami. X może być „Dlaczego”, a Y może być „Jak”.

user18075

Odpowiedzi:

Co powiesz na utworzenie wspólnej tabeli prawdopodobieństwa zawierającej znormalizowane współwystępowania w dokumentach. Następnie można uzyskać entropię łączoną i entropię brzeżną za pomocą tabeli. Na koniec

ja (X, Y) = H. (X) + H. (Y) - H. (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

Zoran
źródło

Po określeniu rozkładów łącznych i brzeżnych, dlaczego konieczne jest obliczenie

i zastosowanie przedstawionego wzoru? Nie można ustalić wzajemnych informacji bezpośrednio za pomocą wzoru podanego przez PO, ponieważ wszystko, co jest potrzebne do „podłączenia”, a mianowicie.

są znane w tym momencie?

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

Dilip Sarwate

formuły są równoważne, z tym że te ostatnie mogą być łatwiej interpretowalne na pierwszy rzut oka.

Zoran