Czytam o entropii i trudno mi zrozumieć, co to znaczy w ciągłym przypadku. Strona wiki zawiera następujące informacje:
Rozkład prawdopodobieństwa zdarzeń w połączeniu z ilością informacji każdego zdarzenia tworzy zmienną losową, której oczekiwaną wartością jest średnia ilość informacji lub entropia wygenerowana przez ten rozkład.
Więc jeśli obliczę entropię związaną z ciągłym rozkładem prawdopodobieństwa, co to tak naprawdę mówi? Podają przykład rzucania monetami, więc dyskretny przypadek, ale jeśli istnieje intuicyjny sposób na wyjaśnienie takiego przykładu w przypadku ciągłym, byłoby świetnie!
Jeśli to pomaga, definicja entropii dla ciągłej zmiennej losowej jest następująca:
Aby uczynić to bardziej konkretnym, rozważ przypadek , a następnie, zgodnie z Wikipedią , entropia jest
I tak teraz obliczyliśmy entropię dla rozkładu ciągłego (rozkład gamma), więc jeśli teraz ocenię to wyrażenie, , biorąc pod uwagę i , co ta liczba faktycznie mi mówi?
Odpowiedzi:
Entropia mówi ci, ile niepewności jest w systemie. Powiedzmy, że szukasz kota, a wiesz, że jest on gdzieś między twoim domem a sąsiadami, który jest oddalony o 1,5 km. Twoje dzieci mówią, że prawdopodobieństwo przebywania kota w odległości od domu najlepiej opisuje rozkład beta . Tak więc kot może znajdować się w przedziale od 0 do 1, ale bardziej prawdopodobne jest, że będzie w środku, tj. .x f(x;2,2) xmax=1/2
rozkład beta do twojego równania, a następnie otrzymasz .H=−0.125
Następnie pytasz swoją żonę, a ona mówi ci, że najlepszym rozkładem opisującym jej wiedzę o twoim kocie jest rozkład jednolity. Jeśli podłączysz go do równania entropii, otrzymasz .H=0
Zarówno dystrybucja jednolita, jak i beta pozwalają kotowi znajdować się w odległości od 0 do 1 mili od twojego domu, ale w mundurze jest więcej niepewności, ponieważ twoja żona tak naprawdę nie ma pojęcia, gdzie kot się ukrywa, podczas gdy dzieci mają jakiś pomysł , myślą , że to bardziej prawdopodobnie będzie gdzieś pośrodku. Właśnie dlatego entropia Beta jest niższa niż entropia Uniform.
Możesz wypróbować inne dystrybucje, być może twój sąsiad powie ci, że kot lubi być w pobliżu jednego z domów, więc jego dystrybucja beta ma postać . Jego musi być znowu niższy niż munduru, ponieważ masz pojęcie o tym, gdzie szukać kota. Zgadnij, czy entropia informacji twojego sąsiada jest wyższa czy niższa niż dzieci? Zakładałbym się na dzieci każdego dnia w tych sprawach.α=β=1/2 H
AKTUALIZACJA:
Jak to działa? Jednym ze sposobów myślenia o tym jest rozpoczęcie od jednolitego rozkładu. Jeśli zgadzasz się z tym, że jest to najbardziej niepewny, pomyśl o tym, by mu przeszkadzać. Spójrzmy na dyskretny przypadek dla uproszczenia. Weź z jednego punktu i dodaj go do innego w następujący sposób:Δp
Zobaczmy teraz, jak zmienia się entropia: Oznacza to, że wszelkie zakłócenia rozkładu równomiernego zmniejszają entropię (niepewność). Aby pokazać to samo w ciągłym przypadku, musiałbym użyć rachunku wariacyjnego lub czegoś wzdłuż tej linii, ale w zasadzie otrzymasz ten sam rodzaj wyniku.
AKTUALIZACJA 2: Średnia jednolitych zmiennych losowych jest samą zmienną losową i pochodzi z rozkładu Batesa . Z CLT wiemy, że wariancja tej nowej zmiennej losowej zmniejsza się z . Tak więc niepewność jego lokalizacji musi maleć wraz ze wzrostem : jesteśmy coraz bardziej pewni, że kot jest w środku. Mój następny wykres i kod MATLAB pokazują, jak entropia zmniejsza się od 0 dla (rozkład równomierny) do . Korzystam z biblioteki Distribution31 tutaj.n n→∞ n n=1 n=13
źródło
Chciałbym dodać bezpośrednią odpowiedź na to pytanie:
Zilustrowanie tego w dyskretnym scenariuszu jest intuicyjne. Załóżmy, że rzucasz mocno stronniczą monetą, mówiąc, że prawdopodobieństwo zobaczenia głowy na każdym rzucie wynosi 0,99. Każda rzeczywista klapka mówi ci bardzo mało informacji, ponieważ prawie już wiesz, że to będzie głowa. Ale jeśli chodzi o bardziej sprawiedliwą monetę, nietrudniej jest mieć jakieś wyczekiwanie, czego można się spodziewać, wtedy każda klapka przekazuje więcej informacji niż jakakolwiek bardziej stronnicza moneta. Ilość informacji uzyskanych dzięki obserwacji pojedynczego rzutu jest równa .log1p(x)
Ilość entropii mówi nam o informacjach, które może przekazać każda rzeczywista średnia (ważona) : . Im sprawiedliwsza moneta, tym większa entropia, a całkowicie uczciwa moneta będzie maksymalnie informacyjna.Elog1p(x)=∑p(x)log1p(x)
źródło