Jaki rozkład ma maksymalną entropię dla znanego średniego bezwzględnego odchylenia?

10

Czytałem dyskusję w Hacker News na temat stosowania standardowego odchylenia w przeciwieństwie do innych wskaźników, takich jak średnie bezwzględne odchylenie. A więc, jeśli mielibyśmy przestrzegać zasady maksymalnej entropii, z jakiego rodzaju rozkładu korzystalibyśmy, gdybyśmy tylko znali średnią rozkładu i średnie bezwzględne odchylenie?

Czy może bardziej sensowne jest zastosowanie mediany i średniego bezwzględnego odchylenia od mediany?

Znalazłem artykuł Zasada maksymalnej entropii ze środkami ogólnego odchylenia autorstwa Grechuka, Molyboha i Zabarankina, który wydaje się mieć informacje, którymi jestem ciekawy, ale ich odczytanie zajmuje mi trochę czasu.

Dietrich Epp
źródło
Interesujące pytanie; witamy w Cross Validated!
Nick Stauner

Odpowiedzi:

13

Ci mądrzy panowie, Kotz, S., Kozubowski, TJ, i Podgorski, K. (2001). Dystrybucja i uogólnienia Laplace'a: powtórka z aplikacjami do komunikacji, ekonomii, inżynierii i finansów (nr 183). Skoczek.

rzuć nam wyzwanie poprzez ćwiczenie:

wprowadź opis zdjęcia tutaj

Dowód może być zgodny z dowodem teoretycznym, że Normalna jest maksymalną entropią dla danej wartości średniej i wariancji. W szczególności: Niech będzie powyższą gęstością Laplace'a, a będzie dowolną inną gęstością, ale mającą tę samą średnią i średnią bezwzględną odchyłkę. Oznacza to, że obowiązuje następująca równość:f(x)g(x)

misol(|X-do1|)=sol(x)|x-do1|rex=do2)=fa(x)|x-do1|rex=mifa(|X-do1|)[1]
Rozważmy teraz rozbieżność Kullbacka-Leiblera dwóch gęstości:

0reK.L.(sol||fa)=sol(x)ln(sol(x)fa(x))rex=sol(x)lnsol(x)rex-sol(x)lnfa(x)rex[2)]

Pierwsza całka jest ujemna z (różnicowej) entropii , oznacza to . Druga całka to (wyraźne pisanie Laplacian pdf)sol-h(sol)

sol(x)ln[fa(x)]rex=sol(x)ln[12)do2)exp{-1do2)|x-do1|}]rex
=ln[12)do2)]sol(x)rex-1do2)sol(x)|x-do1|rex
Pierwsza całka integruje się z jednością i używa również eq. otrzymujemy[1]

sol(x)ln[fa(x)]rex=-ln[2)do2)]-1do2)fa(x)|x-do1|rex=-(ln[2)do2)]+1)
Ale to jest minus entropii różnicowej Laplaciana, oznacz to .-h(fa)

Wstawienie tych wyników do ekw. mamy Ponieważ był arbitralny, dowodzi to, że powyżej gęstości Laplaciana jest maksymalna entropia wśród wszystkich rozkładów z powyższymi zaleceniami.[2)]

0re(sol||fa)=-h(sol)-(-h(fa))h(sol)h(fa)
sol
Alecos Papadopoulos
źródło
Taka prosta dystrybucja i miły napis! Podejrzewałem, że rozkład będzie gładki, z wyjątkiem 0
Dietrich Epp
Dzięki. Kiedyś „to samo idzie z tym samym”, więc ponieważ rozkład Laplace'a obejmuje wartość bezwzględną, był to główny podejrzany.
Alecos Papadopoulos