Dlaczego Entropia jest zmaksymalizowana, gdy rozkład prawdopodobieństwa jest jednolity?

32

Wiem, że entropia jest miarą losowości procesu / zmiennej i można ją zdefiniować w następujący sposób. dla losowej zmiennej zestawie : - . W książce na temat Entropii i teorii informacji MacKaya podaje to oświadczenie w Ch2 $X \in$ $A$ $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$

Entropia jest zmaksymalizowana, jeśli p jest jednorodne.

Intuicyjnie jestem w stanie to zrozumieć, tak jakby wszystkie punkty danych w zestawie były wybierane z jednakowym prawdopodobieństwem ( jest licznością zbioru ), wtedy losowość lub entropia wzrastają. Ale jeśli wiemy, że niektóre punkty w zestawie wystąpią z większym prawdopodobieństwem niż inne (powiedzmy w przypadku rozkładu normalnego, w którym maksymalne stężenie punktów danych znajduje się wokół średniej i wokół małego obszaru odchylenia standardowego, to losowość lub entropia powinna się zmniejszyć. $A$ $1/m$ $m$ $A$ $A$

Ale czy jest na to jakiś matematyczny dowód? Podobnie jak równanie dla , różnicuję je względem i ustawiam na 0 lub coś w tym rodzaju. $H(X)$ $p(x)$

Na marginesie, czy istnieje jakieś powiązanie między entropią występującą w teorii informacji a obliczeniami entropii w chemii (termodynamika)?

uniform entropy maximum-entropy użytkownik76170
źródło

2

Odpowiedź na to pytanie (przejściowo) znajduje się na stronie stats.stackexchange.com/a/49174/919 .

whuber

Mylę się z innym stwierdzeniem zawartym w książce Christopher Bishops, w którym stwierdza się, że „dla jednej zmiennej rzeczywistej rozkład maksymalizujący entropię to Gaussa”. Stwierdza także, że „rozkład wielowymiarowy z maksymalną entropią, dla danej kowariancji, jest gaussowski”. Jak ważne jest to oświadczenie? Czy entropia rozkładu równomiernego nie jest zawsze maksimum?

user76170,

6

Maksymalizacja jest zawsze wykonywana z zastrzeżeniem ograniczeń możliwego rozwiązania. Gdy istnieją ograniczenia, że wszelkie prawdopodobieństwo musi zniknąć poza ustalonymi granicami, maksymalne rozwiązanie entropii jest jednolite. Gdy zamiast tego istnieją ograniczenia, że oczekiwanie i wariancja muszą być równe predefiniowanym wartościom, rozwiązanie ME jest gaussowskie. Cytowane przez ciebie stwierdzenia musiały zostać wydane w określonych kontekstach, w których ograniczenia te zostały określone lub przynajmniej domyślnie zrozumiane.

whuber

2

Prawdopodobnie powinienem również wspomnieć, że słowo „entropia” oznacza coś innego w ustawieniu Gaussa niż w pierwotnym pytaniu tutaj, ponieważ wtedy dyskutujemy o entropii ciągłych rozkładów. Ta „entropia różnicowa” jest innym zwierzęciem niż entropia dyskretnych rozkładów. Główną różnicą jest to, że entropia różnicowa nie jest niezmienna przy zmianie zmiennych.

whuber

Co oznacza, że maksymalizacja zawsze dotyczy ograniczeń? Co jeśli nie ma żadnych ograniczeń? Mam na myśli, czy nie może być takiego pytania? Który rozkład prawdopodobieństwa ma maksymalną entropię?

user76170,

25

Heurystycznie funkcja gęstości prawdopodobieństwa na z maksymalną entropią okazuje się być tą, która odpowiada najmniejszej wiedzy o , innymi słowy rozkład jednolity. $\{x_1, x_2,..,.x_n\}$ $\{x_1, x_2,..,.x_n\}$

Teraz, aby uzyskać bardziej formalny dowód, rozważ następujące kwestie:

Funkcja gęstości prawdopodobieństwa na jest zbiorem liczb rzeczywistych nieujemną które sumują się do 1. Entropia jest ciągłą funkcją -tuples , a te punkty leżą w zwartym podzbiorze , więc istnieje -pleple, gdzie entropia jest zmaksymalizowana. Chcemy pokazać, że dzieje się to w i nigdzie indziej. $\{x_1, x_2,..,.x_n\}$ $p_1,...,p_n$ $n$ $(p_1,...,p_n)$ $\mathbb{R}^n$ $n$ $(1/n,...,1/n)$

Załóżmy, że nie są równe, powiedzmy . (Oczywiście ) Znajdziemy nową gęstość prawdopodobieństwa o wyższej entropii. Wynika z tego, że ponieważ entropia jest zmaksymalizowana przy pewnym -pleju, entropia jest wyjątkowo zmaksymalizowana przy -ple z dla wszystkich . $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

Od , dla małego pozytywnego mamy . Entropia minus entropia jest równa $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ $\{p_1,p_2,p_3,...,p_n\}$

- p_{1} \log (\frac{p_{1} + ε}{p_{1}}) - ε \log (p_{1} + ε) - p_{2)} \log (\frac{p_{2)} - ε}{p_{2)}}) + ε \log (p_{2)} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$ Aby ukończyć dowód, chcemy pokazać, że jest to pozytywne dla wystarczająco małego . Przepisz powyższe równanie jako

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2)} \log (1 - \frac{ε}{p_{2)}}) + ε (\log p_{2)} + \log (1 - \frac{ε}{p_{2)}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

Przypominając, że dla małych , powyższe równanie to co jest dodatnie, gdy jest wystarczająco mały, ponieważ . $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε \log p_{1} + ε + ε \log p_{2)} + O (ε^{2)}) = ε \log (p_{2)} / p_{1}) + O (ε^{2)})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

Mniej rygorystyczny dowód to:

Rozważ najpierw następujący lemat:

Niech i jest ciągłe funkcje gęstości prawdopodobieństwa na przedziale w rzeczywistych numerów, z i o . Mamy jeśli istnieją dwie całki. Ponadto istnieje równość wtedy i tylko wtedy, gdy dla wszystkich . $p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{ja} p \log p re x \leq - \int_{ja} p \log q re x

$-\int_I p\log p dx\leq -\int_I p\log q dx$

p (x) = q (x)

$p(x) = q(x)$

x

$x$

Teraz niech będzie dowolną funkcją gęstości prawdopodobieństwa na , przy . Niech dla wszystkich , który jest entropią . Dlatego nasza lemat mówi , z równością wtedy i tylko wtedy, gdy jest jednolite. $p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$

- \sum_{ja = 1}^{n} p_{ja} \log q_{ja} = \sum_{ja = 1}^{n} p_{ja} \log n = \log n

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$

p

$p$

Ponadto wikipedia ma krótką dyskusję na ten temat: wiki

Mitchus
źródło

11

Podziwiam wysiłek przedstawienia podstawowego dowodu (bez rachunku). Rygorystyczna jednowierszowa demonstracja jest dostępna poprzez ważoną nierówność AM-GM , zauważając, że = przy równości trzymającej iff wszystkie są równe, QED.

\exp (H)

$\exp(H)$

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$

1 / p_{i}

$1/p_i$

whuber

Nie rozumiem, jak może być równy .

\sum \log n

$\sum{\log{n}}$

\log n

$\log{n}$

user1603472,

4

@ user1603472 masz na myśli ? Jest tak, ponieważ

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

HBeel 29.09.16

\log n

$\log n$

i

$i$

1

$1$

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$

To samo wyjaśnienie z bardziej szczegółowymi informacjami można znaleźć tutaj: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

Roland

14

Entropia w fizyce i teorii informacji nie są ze sobą powiązane. Różnią się bardziej niż sugeruje nazwa, ale istnieje wyraźny związek między nimi. Metryka entropii ma na celu pomiar ilości informacji. Zobacz moją odpowiedź z wykresami tutaj, aby pokazać, jak entropia zmienia się z rozkładu równomiernego na rozkład garbowany.

Powodem maksymalizacji entropii dla jednolitego rozkładu jest to, że została tak zaprojektowana! Tak, konstruujemy miarę braku informacji, dlatego chcemy przypisać jej najwyższą wartość do najmniej informacyjnego rozkładu.

Przykład. Zapytałem cię „ Stary, gdzie jest mój samochód ?” Twoja odpowiedź brzmi: „jest gdzieś w USA między Oceanem Atlantyckim a Pacyfikiem”. To jest przykład jednolitego rozkładu. Mój samochód może być w dowolnym miejscu w USA. Nie otrzymałem wiele informacji z tej odpowiedzi.

Jeśli jednak powiesz mi: „Widziałem twój samochód godzinę temu na trasie 66 jadącej z Waszyngtonu” - to już nie jest jednolita dystrybucja. Samochód jest bardziej oddalony o 60 mil od DC niż gdziekolwiek w pobliżu Los Angeles. Jest tutaj wyraźnie więcej informacji.

Dlatego nasza miara musi mieć wysoką entropię dla pierwszej odpowiedzi i niższą dla drugiej. Mundur musi być jak najmniej informacyjny, to w zasadzie odpowiedź „nie mam pojęcia”.

Aksakal
źródło

7

$f(x)$ $[a,b]$ $y_1, \ldots y_n$ $[a,b]$ $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

$f(x) = -x \log(x)$ $y_i = p(x_i)$ $p(x_i)$ $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$

Oktawian Ganea
źródło

1

Uważam, że dowód nierówności Jensena jest o wiele głębszym dowodem koncepcyjnym niż dowód AM-GM.

Casebash,

4

Na marginesie, czy istnieje jakieś powiązanie między entropią występującą w teorii informacji a obliczeniami entropii w chemii (termodynamika)?

Tak jest! Możesz zobaczyć prace Jaynesa i wielu innych obserwujących jego prace (na przykład tu i tutaj ).

Ale główną ideą jest to, że mechanika statystyczna (i inne dziedziny nauki również) mogą być postrzegane jako wniosek, jaki robimy na temat świata .

Jako dalsze czytanie polecam książkę Ariela Catichy na ten temat.

kaslusimoes
źródło

1

Intuicyjne wyjaśnienie:

Jeśli umieścimy większą masę prawdopodobieństwa w jednym zdarzeniu zmiennej losowej, będziemy musieli usunąć niektóre z innych zdarzeń. Ten będzie miał mniejszą zawartość informacyjną i większą wagę, a drugi więcej informacji i mniejszą wagę. Dlatego entropia będąca oczekiwaną treścią informacyjną spadnie, ponieważ wydarzenie o niższej zawartości informacyjnej będzie ważone bardziej.

Jako skrajny przypadek wyobraź sobie, że jedno zdarzenie uzyska prawdopodobieństwo prawie jednego, dlatego inne zdarzenia będą miały łączne prawdopodobieństwo prawie zerowe, a entropia będzie bardzo niska.

Roland
źródło

0

$p_i$

$p_i$ $i=1,...,n$ $q = 1-\sum_{i=0}^{n-1} p_i$

\begin{aligned} H. & = - \sum_{ja = 0}^{n - 1} p_{ja} \log p_{ja} - (1 - q) \log q \\ H. * \ln 2) & = - \sum_{ja = 0}^{n - 1} p_{ja} \ln p_{ja} - (1 - q) \ln q \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial H.}{\partial p_{ja}} & = \ln \frac{q}{p_{ja}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$

q = p_{i}

$q = p_i$

i

$i$

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$

Jan Fan
źródło

p_{i}

$p_i$

Dlaczego Entropia jest zmaksymalizowana, gdy rozkład prawdopodobieństwa jest jednolity?

Odpowiedzi: