Jak entropia zależy od lokalizacji i skali?

14

Entropia ciągłego rozkładu z funkcją gęstości f określa się jako ujemny z oczekiwaniem log(f), a zatem jest równa

Hf=log(f(x))f(x)dx.

Także, że każdej zmiennej losowej X , której rozkład jest gęstości f ma entropii Hf. (Ta całka jest dobrze zdefiniowana, nawet jeśli f ma zera, ponieważ log(f(x))f(x) może być przyjmowane do zera na takich wartościach.)

Gdy X i Y są zmiennymi losowymi, dla których Y=X+μ ( μ jest stałą), mówi się, że Y jest wersją X przesuniętą o μ. Podobnie, gdy Y=Xσ ( σ jest stałą dodatnią), mówi się, że Y jest wersją X skalowaną przez σ.Połączenie skali z przesunięciem daje Y=Xσ+μ.

Relacje te występują często. Na przykład zmiana jednostek miary X przesuwa i skaluje ją.

W jaki sposób entropia Y=Xσ+μ powiązana z entropią X?

Whuber
źródło

Odpowiedzi:

17

Xf(x)dx,y=xσ+μx=(yμ)/σ,

f(x)dx=f(yμσ)d(yμσ)=1σf(yμσ)dy

Y

fY(y)=1σf(yμσ).

Y

H(Y)=log(1σf(yμσ))1σf(yμσ)dy

x=(yμ)/σ,

H(Y)=log(1σf(x))f(x)dx=(log(1σ)+log(f(x)))f(x)dx=log(σ)f(x)dxlog(f(x))f(x)dx=log(σ)+Hf.

f(x)dx

Z tego wniosek

Y=Xσ+μXlog(σ).

σ1log(σ).


μσ(μ,σ)μ=0σ=1.

log(f(x))=12log(2π)x2/2,

skąd

H=E[12log(2π)X2/2]=12log(2π)+12.

(μ,σ)logσ

H=12log(2π)+12+log(σ)=12log(2πeσ2)

jak donosi Wikipedia .

Whuber
źródło