Związek między entropią a SNR

14

Zasadniczo każdą formę enropy określa się jako niepewność lub przypadkowość. Wierzę, że w hałaśliwym otoczeniu ze wzrostem szumów entropia wzrasta, ponieważ jesteśmy bardziej niepewni co do zawartości informacyjnej pożądanego sygnału. Jaki jest związek między entropią a SNR? Wraz ze wzrostem stosunku sygnału do szumu moc szumów maleje, ale nie oznacza to, że zawartość informacji w sygnale rośnie !! Treść informacji może pozostać taka sama, czy to oznacza, że ​​nie ma to wpływu na entropię?

Ria George
źródło

Odpowiedzi:

8

Kiedy mówisz, że „treść informacji może pozostać taka sama”, czy masz na myśli informację w łącznym sygnale, czy informację o pożądanym sygnale? Mam nadzieję, że rozwiąże to oba przypadki. Wiem, że entropia Shannona jest znacznie lepsza niż Kołmogorow, więc użyję tego, ale mam nadzieję, że logika przetłumaczy.

Załóżmy, że jest całkowity sygnał ( ), składa się z sumy żądany sygnał i swojej składowej szumu . Nazwijmy entropia . Jak powiedziałeś, hałas zwiększa entropię systemu, zwiększając jego złożoność. Jednak nie tylko dlatego, że jesteśmy bardziej niepewni co do zawartości informacyjnej sygnału, ale ponieważ ogólnie jest więcej niepewności w sygnale. Jeśli rodzaj SNR mierzy, jak jesteśmy pewni co do tego , czym jest , to rodzaj mierzy, jak dobrze możemy przewidzieć przyszłe stany na podstawie aktualnego stanuX=S+NXSNHSH(X)XX. Entropia dotyczy stopnia złożoności całego sygnału, niezależnie od składu szumu w porównaniu do szumu.

Jeśli zwiększysz SNR przez usunięcie szumu (tłumienie ), zmniejszysz całkowitą złożoność sygnału , a tym samym jego entropię. Nie straciły wszelkie informacje przenoszone przez , tylko (prawdopodobnie bez znaczenia) informacji niesionej przez . Jeśli jest szumem losowym, to oczywiście nie przenosi znaczących informacji, ale potrzeba pewnej ilości informacji, aby opisać stan , określony przez liczbę stanów, w których N może się znajdować, oraz prawdopodobieństwo jego wystąpienia każdy z tych stanów. To jest entropia.NXSNNN

Możemy spojrzeć na dwa rozkłady Gaussa z różnymi wariancjami, powiedzmy, że jedna ma wariancję a druga wariancję . Patrząc na równanie dla rozkładu Gaussa, widzimy, że rozkład ma maksymalne prawdopodobieństwo, które wynosi tylko wartości prawdopodobieństwa distr. I odwrotnie, oznacza to, że istnieje większe prawdopodobieństwo, że dystr. przyjmie wartości inne niż średnia lub że istnieje większa pewność, że rozkład przyjmie wartości zbliżone do średniej. Zatem rozkład ma niższą entropię niż1100Var=100110var=1Var=100Var=1Var=1Var=100 dystrybucja.

Ustaliliśmy, że wyższa wariancja implikuje wyższą entropię. Patrząc na propagację błędów, prawdą jest również to, że (równe dla niezależnych , ). Jeśli , to dla entropii , . Ponieważ jest (pośrednio) funkcją wariancji, możemy trochę pomieszać, aby powiedzieć . Upraszczając, mówimy, że i są niezależne, więc . Ulepszony SNR często oznacza tłumienie mocy szumu. Ten nowy sygnał o wyższym SNR będzie wtedy , dlaVar(X+Y)>=Var(X)+Var(Y)XYX=S+NHH(X)=H(S+N)HH(Var[X])=H(Var[S+N])SNH(Var[X])=H(Var[S]+Var[N])X=S+(1k)Nk>1 . Entropia staje się wtedy . jest większe niż , więc zmniejszy się, gdy N zostanie osłabiony. Jeżeli maleje, to samo , a zatem , co powoduje spadek .H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N]Var[N]Var[S+N]Var[X]H(X)

Przepraszam, niezbyt zwięzłe. W skrócie, „s entropia maleje jeśli wzrost SNR, ale zrobiłeś nic ” informacje s. Nie mogę teraz znaleźć źródeł, ale istnieje metoda obliczania SNR i wzajemnej informacji (dwuwymiarowa miara podobna do entropii) od siebie. Może głównym powodem jest to, że SNR i entropia nie mierzą tego samego.XS

dpbont
źródło
Dziękuję za szczegóły, byłoby naprawdę wspaniale, gdyby był tam odniesienie do drobnej analizy, którą zrobiłeś, ponieważ muszę podać związek między entropią i SNR w dokumencie, a zatem cytat.
Ria George
Moja analiza jest dość nieformalna; zbytnio opiera się na intuicji / logice, aby domagać się jakiejkolwiek dyscypliny. Słabym punktem, który natychmiast widzę, jest twierdzenie, że zwiększony SNR jest równoważny zmniejszonej ogólnej wariancji. To stwierdzenie obowiązuje, jeśli zwiększysz SNR poprzez tłumienie szumu, ale niekoniecznie, jeśli zwiększysz moc sygnału (ponieważ może to zwiększyć wariancję sygnału ==> ogólną wariancję ==> entropię). Jest jednak prawdopodobnie inny sposób na wyciągnięcie tego wniosku. Myślę, że związek między MI a SNR pochodzi z Schloegl 2010 „Adaptive Methods in BCI Research - An Introductory Tutorial”
dpbont
: Przepraszamy, aby ponownie rozpocząć ten wątek w kontynuacji. Napotkałem problem, gdy znajdowałem błąd entropii modelu, w którym błąd = pożądany_sygnał - szacowany_sygnał. Wraz ze wzrostem SNR odkryłem, że entropia błędu rośnie. Ale kiedy obliczam entropię pożądanego sygnału ze wzrostem SNR, wówczas entropia X maleje. Czy możesz podać jakieś spostrzeżenia na temat pierwszego przypadku, w którym entropia błędu wzrasta wraz ze wzrostem SNR? X
Ria George
Dwa pytania. 1) Kiedy mówisz, że SNR wzrasta, czy masz na myśli SNR szacowanego sygnału? (Zakładam, że tak.) 2) Co stanie się z twoim błędem wraz ze wzrostem entropii błędu? Ogólnie mówiąc, wzrost entropii oznacza albo wzrost wariancji / spadek przewidywalności. Mogę sobie wyobrazić sytuację, w której wariancja błędu wzrośnie, ale usuniesz błąd systematyczny błędu (który może zwiększyć entropię błędu, ale zmniejszyć błąd).
dpbont
Dziękuję za szybką odpowiedź. (1) Przez wzrost SNR mam na myśli zwiększenie SNR szumu pomiarowego w modelu, więc w Eq zwiększam SNR i mierzę entropię H1 (X) i H2 (błąd). (2) Błędy maleją, a wszystkie wartości stają się mniej więcej równe, ale nie zerowe. Sposób obliczania entropii błędu jest następujący: biorąc pod uwagę model AR (2). na końcu odbiornika, gdzie (a1, b1) są odgadłymi parametrami, a są obserwacjami przy określonym SNR z powiedzmy snr1. Powiedzmy, że mam 5 par domysłów (a1, b1) i dla każdej pary dostaję entropię błędu. X=S+NNz(t)=X(t)(a1X(t1)+b1X(t2))X(t)N
Ria George
1

Oto cytat z, [1, p. 186]aby zacząć, OP lub Googler, zaczął:

Z grubsza, H(number of active components in data)×logSNR

Tutaj jest ujemną entropią tylnego rozkładu parametrów twojego modelu sygnału. Powodzenia!H

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
marnix
źródło