Czy jest jakiś użytek dla ilości w statystyce lub teorii informacji?
probability
entropy
information-theory
charles.y.zheng
źródło
źródło
Odpowiedzi:
Niech oznacza funkcję gęstości prawdopodobieństwa (odpowiednio w odniesieniu do Lebesgue'a lub miary zliczania), ilość jest znana jako entropia Renyi rzędu . Jest to uogólnienie entropii Shannona, która zachowuje wiele takich samych właściwości. W przypadku interpretujemy jako , co odpowiada standardowej entropii Shannona .f
Renyi przedstawił to w swoim artykule
które warto przeczytać, nie tylko ze względu na pomysły, ale także na przykładowy styl ekspozycji.
Przypadek jest jedną z bardziej powszechnych opcji a ten szczególny przypadek jest (również) często określany jako entropia Renyi. Widzimy tutaj, że dla zmienna losowa dystrybuowana z gęstością .α=2 α
Zauważ, że jest funkcją wypukłą, a zatem, z powodu nierówności Jensena mamy gdzie prawa strona oznacza entropię Shannona. Stąd entropia Renyi stanowi dolną granicę dla entropii Shannona i, w wielu przypadkach, jest łatwiejsza do obliczenia.−log(x)
Innym naturalnym przypadkiem, w którym powstaje entropia Renyi, jest rozważenie dyskretnej zmiennej losowej i niezależnej kopii . W niektórych scenariuszach chcemy poznać prawdopodobieństwo, że , która według elementarnego obliczenia toX X⋆ X=X⋆
Tutaj oznacza gęstość w odniesieniu do miary liczenia na zbiorze wartości .f Ω={xi:i∈N}
(Ogólna) entropia Renyi jest również najwyraźniej związana z energią swobodną układu w równowadze termicznej, chociaż osobiście nie jestem tego przekonany. (Bardzo) najnowszy artykuł na ten temat to
źródło