Dobre wprowadzenie do różnych rodzajów entropii

18

Szukam książki lub zasobu online, który wyjaśnia różne rodzaje entropii, takie jak Sample Entropy i Shannon Entropy oraz ich zalety i wady. Czy ktoś może skierować mnie we właściwym kierunku?

references entropy chrześcijanin
źródło

9

Cover i książka Thomasa Elementy teorii informacji są dobrym źródłem na temat entropii i jej zastosowań, chociaż nie wiem, że dotyczy dokładnie tych problemów, które masz na myśli.

Mark Meckes
źródło

4

Również artykuł „Teoretyczne nierówności informacji” Dembo Cover i Thomasa ujawnia wiele głębokich aspektów

Robin Girard

1

Jednak żadna z tych książek nie twierdzi, że istnieje więcej niż jedna entropia.

5

Te uwagi do wykładu na temat teorii informacji autorstwa O. Johnsona zawierają dobre wprowadzenie do różnych rodzajów entropii.

Alekk
źródło

4

Jeśli jesteś zainteresowany statystyką matematyczną dotyczącą entropii, możesz zajrzeć do tej książki

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

jest dostępny za darmo!

Robin Girard
źródło

2

Entropia jest tylko jedna (jako koncepcja) - ilość informacji potrzebna do opisania jakiegoś systemu; jest tylko wiele jego uogólnień. Przykładowa entropia to tylko niektóre deskryptory podobne do entropii używane w analizie tętna.

źródło

Wiem jednak, że to nie pomaga mi zdecydować, czy zastosowanie przykładowej entropii, entropii shannon lub innego rodzaju entropii jest odpowiednie dla danych, z którymi pracuję.

Christian

2

To, co napisałem w moim poście, to tylko to, że dla pewnego rodzaju danych / procesów / systemu istnieje tylko jedna prawdziwa definicja entropii. Próbka Entropia nie jest miarą entropii, to tylko niektóre statystyki o mylącej nazwie. Zadaj pytanie, w którym zdefiniujesz dane, dla których chcesz obliczyć entropię, a otrzymasz formułę.

Nie interesuje mnie prawda, ale uzyskanie funkcji, która działa. Jestem bioinformatykiem i uczyłem się nie szukać dogmatycznej prawdy, ale szukać statystyk, które działają. Nie sądzę, że praca jest wykonywana z danymi, które chcę pracować z tą specyfiką, która entropia działa najlepiej. Właśnie dlatego chcę pracować z danymi.

Christian

2

Zgadza się, ale nie jest to dyskusja na temat prawd dogmatycznych, ale na temat słów. Zapytałeś o entropię, więc odpowiedziałem na temat entropii. Ponieważ teraz widzę, że naprawdę potrzebujesz odpowiedzi na temat deskryptorów szeregów czasowych, napisz pytanie o deskryptory szeregów czasowych, tylko wtedy otrzymasz użyteczną odpowiedź.

2

Jaynes pokazuje, jak wyprowadzić entropię Shannona z podstawowych zasad zawartych w jego książce .

$n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

Jarosław Bułatow
źródło

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

Artykuł Grünwalda i Dawida Teoria gry, maksymalna entropia, minimalna rozbieżność i solidna teoria decyzji Bayesa omawiają uogólnienia tradycyjnego pojęcia entropii. Biorąc pod uwagę stratę, związaną z nią funkcją entropii jest mapowanie z rozkładu na minimalną możliwą do uzyskania oczekiwaną stratę dla tego rozkładu. Zwykłą funkcją entropii jest uogólniona entropia związana z utratą dziennika. Inne wybory strat dają inną entropię, taką jak entropia Rényi.

Mark Reid
źródło

1

Zatem sigma jest entropią N (0, sigma) odpowiadającą kwadratowi błędu, a min (p, 1-p) jest entropią Bernoulliego (p) odpowiadającą 0,1 stracie predykcji? Wydaje się to dość uogólnieniem!

Yaroslav Bulatov

Tak. Entropia dla straty kwadratowej jest stała, a entropia dla straty 0-1 wynosi min (p, 1-p). Co ciekawe, mają one również silną korespondencję z rozbieżnościami. Kwadratowa strata do dywergencji Hellingera i 0-1 straty do dywergencji wariacyjnej. Ponieważ entropie zdefiniowane w ten sposób są koniecznie funkcjami wklęsłymi i okazuje się, że f-dywergencja jest zbudowana przy użyciu f (p) = -entropy (p). Bob Williamson i ja zbadaliśmy niektóre z nich w naszym artykule: arxiv.org/abs/0901.0356 . To zabawne rzeczy.

Mark Reid,

1

Oto coś interesującego, co znalazłem ostatnio na temat rozbieżności - każdy etap propagacji wiary można postrzegać jako projekcję Bregmana ece.drexel.edu/walsh/Walsh_TIT_10.pdf

Jarosław

Dobre wprowadzenie do różnych rodzajów entropii

Odpowiedzi: