Co to jest empiryczna entropia?

W definicji wspólnie typowych zbiorów (w „Elementach teorii informacji”, rozdz. 7.6, s. 195) używamy

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$ jako empirycznej entropii wystąpienia -sequence z . Nigdy wcześniej nie spotkałem się z tą terminologią. Nigdzie nie jest wyraźnie zdefiniowane zgodnie z indeksem książki.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Moje pytanie zasadniczo brzmi: dlaczego entropia empiryczna nie jest gdzie jest rozkładem empirycznym? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Jakie są najciekawsze różnice i podobieństwa między tymi dwiema formułami? (pod względem właściwości dzielą się / nie udostępniają).

information-theory entropy blubb
źródło

Czy te dwa wyrażenia nie są algebraicznie równe?

whuber

@whuber: Nie, są różne ilości, do różnych celów, jak sądzę. Zauważ, że pierwszy używa prawdziwej miary przyjętej jako znana a priori. Drugi nie.

p

$p$

kardynał

Ten pierwszy dotyczy akumulacji entropii w czasie i tego, jak porównuje się do prawdziwej entropii systemu. SLLN i CLT wiele mówią o tym, jak się zachowuje. Drugi dotyczy szacowania entropii na podstawie danych, a niektóre jego właściwości można również uzyskać za pomocą tych samych dwóch wspomnianych narzędzi. Ale podczas gdy pierwszy jest bezstronny, drugi nie jest pod żadnym . Mogę podać kilka szczegółów, jeśli byłoby to pomocne.

p

$p$

kardynał

@cardinal: Jeśli podasz powyższy komentarz jako odpowiedź (być może również wyjaśnisz, czym są SLLN i CLT? - Nie znam ich) chętnie głosuję ...

blubb

Ok, postaram się opublikować później. W międzyczasie SLLN = „Silne prawo dużych liczb”, a CLT = „Twierdzenie o granicy centralnej”. Są to dość standardowe skróty, z którymi prawdopodobnie ponownie się spotkasz. Twoje zdrowie. :)

kardynał

Odpowiedzi:

Jeśli dane to , to znaczy sekwencja z przestrzeni próbnej , prawdopodobieństwo punktu empirycznego wynosi dla . Tutaj ma wartość jeden, jeśli a w przeciwnym razie zero. Oznacza to, że to względna częstotliwość obserwowanej sekwencji. Entropia rozkładu prawdopodobieństwa podane przez empirycznych prawdopodobieństw punktowych $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$

\hat{p} (x) = \frac{1}{n} | {ja ∣ x_{ja} = x} | = \frac{1}{n} \sum_{ja = 1}^{n} δ_{x} (x_{ja})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

H. (\hat{p}) = - \sum_{x \in X} \hat{p} (x) \log \hat{p} (x) = - \sum_{x \in X} \frac{1}{n} \sum_{ja = 1}^{n} δ_{x} (x_{ja}) \log \hat{p} (x) = - \frac{1}{n} \sum_{ja = 1}^{n} \log \hat{p} (x_{ja}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$ Ta ostatnia tożsamość następuje po zamianie dwóch sum i zauważeniu, że Z tego wynika, że z i używając terminologii z pytania jest to empiryczna entropia empirycznego rozkładu prawdopodobieństwa . Jak wskazał @cardinal w komentarzu,

\sum_{x \in X} δ_{x} (x_{ja}) \log \hat{p} (x) = \log \hat{p} (x_{ja}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

H. (\hat{p}) = - \frac{1}{n} \log \hat{p} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$ jest empiryczną entropią danego rozkładu prawdopodobieństwa z prawdopodobieństwem punktowym .

p

$p$

NRH
źródło

(+1) Stanowi to dobrą ilustrację tego, co Cover i Thomas nazywają „dziwnym autoreferencyjnym charakterem” entropii. Nie jestem jednak pewien, czy odpowiedź faktycznie (bezpośrednio) rozwiązuje pozorne obawy OP. :)

kardynał

@ cardinal, wiem, a odpowiedź była tylko długim komentarzem, aby podkreślić ten konkretny punkt. Nie chciałem powtarzać twoich punktów.

NRH

Nie powinieneś czuć się źle lub wahać się, aby opublikować własną odpowiedź, w tym rozwinięcie moich komentarzy lub komentarzy innych osób. Jestem szczególnie powolny i zły, jeśli chodzi o publikowanie odpowiedzi i nigdy nie obrażę się, jeśli ty lub inni wyślesz odpowiedzi zawierające aspekty rzeczy, o których wcześniej krótko skomentowałem. Wręcz przeciwnie. Twoje zdrowie.

kardynał

Entropia jest zdefiniowana dla rozkładów prawdopodobieństwa. Jeśli nie masz jednego, a jedynie danych, i wpiszesz naiwny estymator rozkładu prawdopodobieństwa, otrzymasz empiryczną entropię. Jest to najłatwiejsze w przypadku dystrybucji dyskretnych (wielomianowych), jak pokazano w innej odpowiedzi, ale można to również zrobić w przypadku innych dystrybucji poprzez binowanie itp.

Problem z empiryczną entropią polega na tym, że jest ona tendencyjna dla małych próbek. Naiwne oszacowanie rozkładu prawdopodobieństwa pokazuje dodatkową zmienność z powodu hałasu próbkowania. Oczywiście można użyć lepszego estymatora, np. Odpowiedniego wcześniejszego dla parametrów wielomianowych, ale uzyskanie naprawdę obiektywnej oceny nie jest łatwe.

Powyższe dotyczy również rozkładów warunkowych. Ponadto wszystko jest względne w stosunku do binowania (lub jądra), więc faktycznie macie swoistą entropię różnicową.

scellus
źródło

Powinniśmy uważać na to, co nazywamy tutaj empiryczną entropią . Należy pamiętać, że estymator wtyczek jest zawsze tendencyjnie niski dla wszystkich rozmiarów próbek, chociaż obciążenie będzie maleć wraz ze wzrostem wielkości próbki. Nie tylko trudno jest uzyskać obiektywne estymatory dla entropii, ale raczej niemożliwe w ogólnym przypadku. W ciągu ostatnich kilku lat przeprowadzono dość intensywne badania w tej dziedzinie, szczególnie w literaturze neuronauki. W rzeczywistości istnieje wiele negatywnych wyników.

kardynał