Wykazać, że maksymalny rozkład entropii ze stałą macierzą kowariancji to gaussa

Staram się omijać następujący dowód, że Gaussian ma maksymalną entropię.

Jak ma sens krok oznaczony gwiazdką? Określona kowariancja naprawia tylko drugi moment. Co dzieje się z trzecią, czwartą, piątą chwilą itp.?

Krok oznaczony gwiazdką jest prawidłowy, ponieważ (a) i q mają takie same zero i drugie chwile, a (b) log ( p ) jest funkcją wielomianową składników x, których warunki mają całkowite stopnie 0 lub 2 .$p$$q$$\log(p)$$\mathbf{x}$$0$$2$

---

Musisz wiedzieć tylko dwie rzeczy o wielowymiarowym rozkładzie normalnym ze średnią zerową:

1. jest funkcją kwadratową x = ( x 1 , x 2 , … , x n ) bez terminów liniowych. W szczególności istnieją stałe C i p i j, dla których log ( p ( x ) ) = C + n ∑ i , j = 1 p i $\log(p)$$\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$$p_{ij}$

   $$\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$$

   $C$$p_{ij}$$\Sigma$

2. $\Sigma$

   $$\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$$

Możemy wykorzystać te informacje do opracowania integralnej:

$$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$$

Łamie się na sumę dwóch części:

• $\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$$q$$p$

• $\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$$\int q(\mathbf{x}) x_i x_jd\mathbf{x}$$\int p(\mathbf{x}) x_i x_jd\mathbf{x}$$\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$$\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

$q(x)$$p(x)$$\sigma_{ij}x_ix_j$$p(x)$$p(x)$$q(x)$