Jaki rozkład ma maksymalną entropię dla znanego średniego bezwzględnego odchylenia?

Czytałem dyskusję w Hacker News na temat stosowania standardowego odchylenia w przeciwieństwie do innych wskaźników, takich jak średnie bezwzględne odchylenie. A więc, jeśli mielibyśmy przestrzegać zasady maksymalnej entropii, z jakiego rodzaju rozkładu korzystalibyśmy, gdybyśmy tylko znali średnią rozkładu i średnie bezwzględne odchylenie?

Czy może bardziej sensowne jest zastosowanie mediany i średniego bezwzględnego odchylenia od mediany?

Znalazłem artykuł Zasada maksymalnej entropii ze środkami ogólnego odchylenia autorstwa Grechuka, Molyboha i Zabarankina, który wydaje się mieć informacje, którymi jestem ciekawy, ale ich odczytanie zajmuje mi trochę czasu.

Ci mądrzy panowie, Kotz, S., Kozubowski, TJ, i Podgorski, K. (2001). Dystrybucja i uogólnienia Laplace'a: powtórka z aplikacjami do komunikacji, ekonomii, inżynierii i finansów (nr 183). Skoczek.

rzuć nam wyzwanie poprzez ćwiczenie:

Dowód może być zgodny z dowodem teoretycznym, że Normalna jest maksymalną entropią dla danej wartości średniej i wariancji. W szczególności: Niech będzie powyższą gęstością Laplace'a, a będzie dowolną inną gęstością, ale mającą tę samą średnią i średnią bezwzględną odchyłkę. Oznacza to, że obowiązuje następująca równość:$f(x)$$g(x)$

$$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$$ Rozważmy teraz rozbieżność Kullbacka-Leiblera dwóch gęstości:

$$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$$

Pierwsza całka jest ujemna z (różnicowej) entropii , oznacza to . Druga całka to (wyraźne pisanie Laplacian pdf)$g$$-h(g)$

$$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$$ $$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$$ Pierwsza całka integruje się z jednością i używa również eq. otrzymujemy$[1]$

$$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$$ Ale to jest minus entropii różnicowej Laplaciana, oznacz to .$-h(f)$

Wstawienie tych wyników do ekw. mamy Ponieważ był arbitralny, dowodzi to, że powyżej gęstości Laplaciana jest maksymalna entropia wśród wszystkich rozkładów z powyższymi zaleceniami.$[2]$

$$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$$ $g$