Zwykle do udowodnienia wyników kodowania kanału używana jest entropia Shannona. Nawet w przypadku wyników separacji kanałów źródłowych stosowana jest entropia shannon. Biorąc pod uwagę równoważność między Shannonem (globalnym) a Kołmogorowskim (lokalnym) pojęciem informacji, czy przeprowadzono badania nad wykorzystaniem złożoności Kołmogorowa do tych wyników (lub przynajmniej w celu zastąpienia części kodującej źródło w wynikach separacji kanałów źródłowych)?
12
Odpowiedzi:
Jeśli chodzi o pojemność kanału, trudno jest zastąpić entropię Shannona złożonością Kołmogorowa. Definicja pojemności kanału nie zawiera żadnej wzmianki o entropii. Użycie entropii Shannona daje prawidłowy wzór na pojemność kanału (takie jest twierdzenie Shannona). Jeśli zastąpisz formułę entropią Shannona formułą o złożoności Kołmogorowa, prawdopodobnie byłaby to inna formuła, a więc byłaby to zła odpowiedź .
Trudna część twierdzenia o separacji kanałów od źródła pokazuje, że nie da się lepiej niż oczywista metoda (opisana w poprzednim akapicie) pierwszego kompresowania, a następnie kodowania. Nie wiem, czy ktokolwiek udowodnił to ze względu na złożoność Kołmogorowa i pojemność kanału, ale rozsądne pytanie należy zbadać.
źródło
Nie jestem pewien, o czym mówisz, kiedy używasz lokalnych / globalnych kwalifikatorów w entropii Shannona i złożoności Kołmogorowa.
Więc popraw mnie, jeśli się mylę.
Entropia Shannona jest obliczalna. Złożoność Kołmogorowa nie jest. Dlatego nie opisują tego samego problemu.
Można było dostrzec entropię Shannona jako górną granicę złożoności Kołmogrowa.
źródło