Związek między entropią a SNR

Zasadniczo każdą formę enropy określa się jako niepewność lub przypadkowość. Wierzę, że w hałaśliwym otoczeniu ze wzrostem szumów entropia wzrasta, ponieważ jesteśmy bardziej niepewni co do zawartości informacyjnej pożądanego sygnału. Jaki jest związek między entropią a SNR? Wraz ze wzrostem stosunku sygnału do szumu moc szumów maleje, ale nie oznacza to, że zawartość informacji w sygnale rośnie !! Treść informacji może pozostać taka sama, czy to oznacza, że ​​nie ma to wpływu na entropię?

Kiedy mówisz, że „treść informacji może pozostać taka sama”, czy masz na myśli informację w łącznym sygnale, czy informację o pożądanym sygnale? Mam nadzieję, że rozwiąże to oba przypadki. Wiem, że entropia Shannona jest znacznie lepsza niż Kołmogorow, więc użyję tego, ale mam nadzieję, że logika przetłumaczy.

Załóżmy, że jest całkowity sygnał ( ), składa się z sumy żądany sygnał i swojej składowej szumu . Nazwijmy entropia . Jak powiedziałeś, hałas zwiększa entropię systemu, zwiększając jego złożoność. Jednak nie tylko dlatego, że jesteśmy bardziej niepewni co do zawartości informacyjnej sygnału, ale ponieważ ogólnie jest więcej niepewności w sygnale. Jeśli rodzaj SNR mierzy, jak jesteśmy pewni co do tego , czym jest , to rodzaj mierzy, jak dobrze możemy przewidzieć przyszłe stany na podstawie aktualnego stanu$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$$X$. Entropia dotyczy stopnia złożoności całego sygnału, niezależnie od składu szumu w porównaniu do szumu.

Jeśli zwiększysz SNR przez usunięcie szumu (tłumienie ), zmniejszysz całkowitą złożoność sygnału , a tym samym jego entropię. Nie straciły wszelkie informacje przenoszone przez , tylko (prawdopodobnie bez znaczenia) informacji niesionej przez . Jeśli jest szumem losowym, to oczywiście nie przenosi znaczących informacji, ale potrzeba pewnej ilości informacji, aby opisać stan , określony przez liczbę stanów, w których N może się znajdować, oraz prawdopodobieństwo jego wystąpienia każdy z tych stanów. To jest entropia.$N$$X$$S$$N$$N$$N$

Możemy spojrzeć na dwa rozkłady Gaussa z różnymi wariancjami, powiedzmy, że jedna ma wariancję a druga wariancję . Patrząc na równanie dla rozkładu Gaussa, widzimy, że rozkład ma maksymalne prawdopodobieństwo, które wynosi tylko wartości prawdopodobieństwa distr. I odwrotnie, oznacza to, że istnieje większe prawdopodobieństwo, że dystr. przyjmie wartości inne niż średnia lub że istnieje większa pewność, że rozkład przyjmie wartości zbliżone do średniej. Zatem rozkład ma niższą entropię niż$1$$100$$Var=100$$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$ dystrybucja.

Ustaliliśmy, że wyższa wariancja implikuje wyższą entropię. Patrząc na propagację błędów, prawdą jest również to, że (równe dla niezależnych , ). Jeśli , to dla entropii , . Ponieważ jest (pośrednio) funkcją wariancji, możemy trochę pomieszać, aby powiedzieć . Upraszczając, mówimy, że i są niezależne, więc . Ulepszony SNR często oznacza tłumienie mocy szumu. Ten nowy sygnał o wyższym SNR będzie wtedy , dla$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$$H$$H(Var[X]) = H(Var[S+N])$$S$$N$$H(Var[X]) = H(Var[S] + Var[N])$$X = S + (\frac {1} {k})N$$k>1$ . Entropia staje się wtedy . jest większe niż , więc zmniejszy się, gdy N zostanie osłabiony. Jeżeli maleje, to samo , a zatem , co powoduje spadek .$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Przepraszam, niezbyt zwięzłe. W skrócie, „s entropia maleje jeśli wzrost SNR, ale zrobiłeś nic ” informacje s. Nie mogę teraz znaleźć źródeł, ale istnieje metoda obliczania SNR i wzajemnej informacji (dwuwymiarowa miara podobna do entropii) od siebie. Może głównym powodem jest to, że SNR i entropia nie mierzą tego samego.$X$$S$

Oto cytat z, [1, p. 186]aby zacząć, OP lub Googler, zaczął:

Z grubsza, $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

Tutaj jest ujemną entropią tylnego rozkładu parametrów twojego modelu sygnału. Powodzenia!$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006