Wzajemne informacje jako prawdopodobieństwo

Czy wzajemna informacja nad wspólną entropią:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

być zdefiniowane jako: „Prawdopodobieństwo przekazania informacji z X do Y”?

Przepraszam, że jestem taki naiwny, ale nigdy nie studiowałem teorii informacji i staram się po prostu zrozumieć niektóre z nich.

information-theory mutual-information luca maggi
źródło

Witamy w CV, Luca Maggi! Cóż za piękne pierwsze pytanie!

Alexis,

Odpowiedzi:

Miara, którą opisujesz, nosi nazwę Information Quality Ratio [IQR] (Wijaya, Sarno i Zulaika, 2017). IQR to wzajemna informacja $I(X,Y)$ podzielona przez „całkowitą niepewność” (wspólna entropia) $H(X,Y)$ (źródło zdjęcia: Wijaya, Sarno i Zulaika, 2017).

Jak opisali Wijaya, Sarno i Zulaika (2017),

zakres IQR wynosi $[0,1]$ . Największą wartość (IQR = 1) można osiągnąć, jeśli DWT może doskonale zrekonstruować sygnał bez utraty informacji. W przeciwnym razie najniższa wartość (IQR = 0) oznacza, że MWT nie jest kompatybilny z oryginalnym sygnałem. Innymi słowy, zrekonstruowany sygnał ze szczególnym MWT nie może przechowywać istotnych informacji i jest całkowicie różny od oryginalnych charakterystyk sygnału.

Można to zinterpretować jako prawdopodobieństwo, że sygnał zostanie doskonale zrekonstruowany bez utraty informacji . Zauważ, że taka interpretacja jest bliższa subiektywistycznej interpretacji prawdopodobieństwa , niż tradycyjnej interpretacji częstokroć.

Jest to prawdopodobieństwo zdarzenia binarnego (rekonstruowanie informacji vs. Dzieli wszystkie właściwości prawdopodobieństwa zdarzeń binarnych. Ponadto entropie mają wiele innych właściwości z prawdopodobieństwami (np. Definicja entropii warunkowych, niezależność itp.). Wygląda więc na prawdopodobieństwo i podobne szarlatany.

Wijaya, DR, Sarno, R. i Zulaika, E. (2017). Współczynnik jakości informacji jako nowa miara dla wyboru falki macierzystej. Chemometrics and Intelligent Laboratory Systems, 160, 59-71.

Tim
źródło

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

Moje pytanie dotyczy części twojej odpowiedzi, a nie samodzielnego pytania. Sugerujesz, żebym otworzył nowe pytanie i umieściłem link do twojej odpowiedzi?

Hans

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

@ Hans Stwierdziłem wyraźnie, że jest to zgodne z aksjomatami, ale trudno powiedzieć, jakie to dokładnie byłoby. Sugerowana przeze mnie interpretacja dotyczy prawdopodobnie rekonstrukcji sygnału. To nie jest rozkład prawdopodobieństwa X lub Y. Myślę, że mógłbyś głębiej zinterpretować i zrozumieć. Pytanie brzmiało, czy można to interpretować jako prawdopodobieństwo, a odpowiedź brzmiała formalnie tak.

Tim

$(\Omega,\mathscr F,P,X,Y)$ $\Theta:=(\Omega,\mathscr F,P,X,Y)$ $\tilde\Omega$ $\Theta$ $\tilde\Omega$ $\text{IQR}(\Omega,\mathscr F,P,X,Y)$

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

Hans
źródło

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Tak jest również w przypadku korzystania ze skomplikowanej sieci neuronowej z funkcją aktywacji sigmoidalnej na końcu. Czy możesz udowodnić, że dane wyjściowe są prawdopodobieństwem w kategoriach metryczno-teoretycznych ..? Często jednak interpretujemy to jako prawdopodobieństwo.

Tim

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Przepraszam, ale nigdy nie uważałem tego rodzaju dyskusji i teorii miary za interesującą, więc wycofam się z dalszej dyskusji. Nie rozumiem też tutaj twojego sensu, zwłaszcza że twój ostatni akapit wydaje się mówić dokładnie to samo, co mówiłem od samego początku.

Tim