Jaka jest maksymalna funkcja gęstości prawdopodobieństwa entropii dla dodatniej zmiennej ciągłej danej średniej i odchylenia standardowego?

13

Jaki jest maksymalny rozkład entropii dla dodatniej zmiennej ciągłej, biorąc pod uwagę jej pierwszy i drugi moment?

Na przykład rozkład Gaussa jest maksymalnym rozkładem entropii dla zmiennej niezwiązanej, biorąc pod uwagę jego średnią i odchylenie standardowe, a rozkład gamma jest maksymalnym rozkładem entropii dla zmiennej dodatniej, biorąc pod uwagę jego średnią wartość i średnią wartość jego logarytmu.

becko
źródło

Odpowiedzi:

13

Można po prostu użyć twierdzenia Boltzmanna, które znajduje się w samym artykule w Wikipedii, na który wskazujesz .

Zauważ, że określenie średniej i wariancji jest równoważne z określeniem dwóch pierwszych nieprzetworzonych momentów - każdy określa drugi (w rzeczywistości nie jest konieczne przywołanie tego, ponieważ możemy zastosować twierdzenie bezpośrednio do średniej i wariancji, jest to po prostu nieco prostsze w ten sposób ).

Twierdzenie to następnie stwierdza, że ​​gęstość musi mieć postać:

f(x)=cexp(λ1x+λ2x2) for all x0

Całkowalność powyżej dodatniej linii rzeczywistej ograniczy do 0 , i myślę, że nakłada pewne ograniczenia na relacje między λs (które prawdopodobnie zostaną spełnione automatycznie, gdy zaczniemy od określonej średniej i wariancji, a nie surowych momentów).λ20λ

Ku mojemu zdziwieniu (ponieważ nie spodziewałbym się tego, kiedy zacząłem tę odpowiedź), wydaje się, że pozostawia to nas z obciętym rozkładem normalnym.

Tak się składa, że ​​nie sądzę, że wcześniej użyłem tego twierdzenia, więc mile widziane byłyby krytyki lub pomocne sugestie dotyczące czegokolwiek, czego nie rozważałem lub pominąłem.

Glen_b - Przywróć Monikę
źródło
+1 dzięki. Wydaje się w porządku. Kiedy czytam artykuł z Wikipedii, wydaje mi się, że przegapiłem fakt, że twierdzenie Boltzmanna ma zastosowanie do wszystkich zamkniętych przedziałów. Przypuszczałem, że stosowane tylko do zmiennych, począwszy od do .
becko
x1/x
1xexp(αxβx2)
7

Chcę uściślić odpowiedź @ Glen_b, oto dodatkowa odpowiedź tylko dlatego, że nie pasuje do komentarza.

f(x)N(x|1/2λ1/λ2,1/(2λ2))
λ1λ2a1,a2a1=μ,a2=μ2+σ2λ1=μ/σ2,λ2=0.5σ2N(x|μ,σ2)

x>xminλ1,21/cμσ2xmin=0xmin

a1,a2λ1,2λ1,2

To pytanie jest duplikatem /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

Fred Schoen
źródło