Czy jest jakiś użytek dla ilości w statystyce lub teorii informacji?

13

Czy jest jakiś użytek dla ilości w statystyce lub teorii informacji?

f(x)2dx
charles.y.zheng
źródło
5
Entropia Renyi
kardynał
f to pdf, prawda?
whuber
Tak, jest gęstością. f
charles.y.zheng 25.04.11
@cardinal Answer!
@mbq: Ok, spróbuję napisać coś nieco później, co jest warte odpowiedzi. :)
kardynał

Odpowiedzi:

24

Niech oznacza funkcję gęstości prawdopodobieństwa (odpowiednio w odniesieniu do Lebesgue'a lub miary zliczania), ilość jest znana jako entropia Renyi rzędu . Jest to uogólnienie entropii Shannona, która zachowuje wiele takich samych właściwości. W przypadku interpretujemy jako , co odpowiada standardowej entropii Shannona .f

Hα(f)=1α1log(fαdμ)
α0α=1H1(f)limα1Hα(f)H(f)

Renyi przedstawił to w swoim artykule

A. Renyi, O miarach informacji i entropii , Proc. 4. Berkeley Symp. na Math., Stat. i Prob. (1960), s. 547–561.

które warto przeczytać, nie tylko ze względu na pomysły, ale także na przykładowy styl ekspozycji.

Przypadek jest jedną z bardziej powszechnych opcji a ten szczególny przypadek jest (również) często określany jako entropia Renyi. Widzimy tutaj, że dla zmienna losowa dystrybuowana z gęstością .α=2α

H2(f)=log(f2dμ)=log(Ef(X))
f

Zauważ, że jest funkcją wypukłą, a zatem, z powodu nierówności Jensena mamy gdzie prawa strona oznacza entropię Shannona. Stąd entropia Renyi stanowi dolną granicę dla entropii Shannona i, w wielu przypadkach, jest łatwiejsza do obliczenia.log(x)

H2(f)=log(Ef(X))E(logf(X))=Elogf(X)=H(f)

Innym naturalnym przypadkiem, w którym powstaje entropia Renyi, jest rozważenie dyskretnej zmiennej losowej i niezależnej kopii . W niektórych scenariuszach chcemy poznać prawdopodobieństwo, że , która według elementarnego obliczenia to XXX=X

P(X=X)=i=1P(X=xi,X=xi)=i=1P(X=xi)P(X=xi)=eH2(f).

Tutaj oznacza gęstość w odniesieniu do miary liczenia na zbiorze wartości .fΩ={xi:iN}

(Ogólna) entropia Renyi jest również najwyraźniej związana z energią swobodną układu w równowadze termicznej, chociaż osobiście nie jestem tego przekonany. (Bardzo) najnowszy artykuł na ten temat to

JC Baez, entropia Renyi i energia swobodna , arXiv [quant-ph] 1101.2098 (luty 2011).

kardynał
źródło
Rzeczywiście użyłem entropii Renyi jako substytutu entropii Shannona; miło widzieć potwierdzenie mojej intuicji. Dziękuję za oświecającą odpowiedź.
charles.y.zheng
1
Wiele (ale nie wszystkie!) Właściwości i przydatności entropii Shannona wynika z jej wypukłości. Jeśli spojrzysz na nagromadzenie podstawowych wyników teorii informacji, mniej więcej zależą one od nierówności Jensena. Tak więc, w pewnym (niejasnym) sensie, nie ma zbyt wiele (strasznie) wyjątkowych w jako szczególnej nieliniowości, która prowadzi do pojęcia „informacji”. logx
kardynał
1
Widzę. W szczególności potrzebuję właściwości, że maksymalny rozkład entropii, który spełnia dane marginesy, jest iloczynem marginesów (co można uzyskać od niezależności.)
charles.y.zheng 26'11