Jak entropia zależy od lokalizacji i skali?

Entropia ciągłego rozkładu z funkcją gęstości $f$ określa się jako ujemny z oczekiwaniem $\log(f),$ a zatem jest równa

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

Także, że każdej zmiennej losowej $X$ , której rozkład jest gęstości $f$ ma entropii $H_f.$ (Ta całka jest dobrze zdefiniowana, nawet jeśli $f$ ma zera, ponieważ $\log(f(x))f(x)$ może być przyjmowane do zera na takich wartościach.)

Gdy $X$ i $Y$ są zmiennymi losowymi, dla których $Y = X+\mu$ ( $\mu$ jest stałą), mówi się, że $Y$ jest wersją $X$ przesuniętą o $\mu.$ Podobnie, gdy $Y = X\sigma$ ( $\sigma$ jest stałą dodatnią), mówi się, że $Y$ jest wersją $X$ skalowaną przez $\sigma.$Połączenie skali z przesunięciem daje $Y=X\sigma + \mu.$

Relacje te występują często. Na przykład zmiana jednostek miary $X$ przesuwa i skaluje ją.

W jaki sposób entropia $Y = X\sigma + \mu$ powiązana z entropią $X?$

$X$$f(x)\mathrm{d}x,$$y = x\sigma + \mu$$x = (y-\mu)/\sigma,$

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

$Y$

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

$Y$

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

$x = (y-\mu)/\sigma,$

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

$f(x)\mathrm{d}x$

Z tego wniosek

$Y = X\sigma + \mu$$X$$\log(\sigma).$

$\sigma \ge 1$$\log(\sigma).$

---

$\mu$$\sigma$$(\mu,\sigma)$$\mu=0$$\sigma=1.$

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

skąd

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

$(\mu,\sigma)$$\log\sigma$

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

jak donosi Wikipedia .