"Od

Krótkie pytanie: dlaczego to prawda?

Długie pytanie:

Po prostu staram się dowiedzieć, co uzasadnia to pierwsze równanie. Autor książki, którą czytam (w kontekście , jeśli chcesz, ale niekoniecznie), twierdzi, co następuje:

Z powodu założenia bliskiego gaussowskości możemy napisać:

$p_{0} (ξ) = A ϕ (ξ) e x p (a_{n + 1} ξ + (a_{n + 2} + \frac{1}{2}) ξ^{2} + \sum_{i = 1}^{n} a_{i} G_{i} (ξ))$ $p_0(\xi) = A \; \phi(\xi) \; exp( a_{n+1}\xi + (a_{n+2} + \frac{1}{2})\xi^2 + \sum_{i=1}^{n} a_i G_i(\xi))$

Gdzie $p_0(\xi)$ to plik PDF twoich obserwowanych danych, który ma maksymalną entropię, biorąc pod uwagę, że zaobserwowałeś tylko szereg oczekiwań (liczby proste) $c_i, i = 1 ... n$ , gdzie $c_i = \mathbb{E}\{G_i(\xi)\}$ , i $\phi(\xi)$ jest plikiem PDF znormalizowanej zmiennej gaussowskiej, to znaczy 0 oznacza średnią i wariancję jednostkową.

Chodzi o to, że wykorzystuje powyższe równanie jako punkt wyjścia do utworzenia pliku PDF, $p_0(\xi)$ prościej i rozumiem, jak on to robi, ale nie rozumiem, jak uzasadnia powyższe równanie, tj. punkt początkowy.

Starałem się streścić, aby nikogo nie zaciemniać, ale jeśli chcesz dodatkowych szczegółów, daj mi znać w komentarzach. Dzięki!

probability normal-distribution entropy maximum-entropy Spacey
źródło

(Uwaga: zmieniłem twój $\xi$ do $x$ .)

Dla zmiennej losowej $X$ z gęstością $p$ , jeśli masz ograniczenia

\int G_{i} (x) p (x) d x = c_{i},

$\int G_i(x)\,p(x)\,dx=c_i \, ,$ dla

i = 1, \dots, n

$i=1,\dots,n$ , maksymalna gęstość entropii wynosi

p_{0} (x) = A \exp (\sum_{i = 1}^{n} a_{i} G_{i} (x)),

$p_0(x)=A\exp\left(\sum_{i=1}^n a_iG_i(x)\right) \, ,$ gdzie

a_{i}

$a_i$ są określone na podstawie

c_{i}

$c_i$ i

A

$A$ jest stałą normalizacyjną.

W tym kontekście przybliżenie Gaussa („bliskie gaussowskości”) oznacza dwie rzeczy:

1) Zgadzasz się na wprowadzenie dwóch nowych ograniczeń: średniej $X$ jest $0$ a wariancja jest $1$ (mówić);

2) Odpowiedni $a_{n+2}$ (patrz poniżej) jest znacznie większy od drugiego $a_i$ „s.

Te dodatkowe ograniczenia są reprezentowane jako

G_{n + 1} (x) = x, c_{n + 1} = 0,

$G_{n+1}(x)=x \, , \qquad c_{n+1}=0 \, ,$

G_{n + 2} (x) = x^{2}, c_{n + 2} = 1,

$G_{n+2}(x)=x^2 \, , \qquad c_{n+2}=1 \, ,$ wydajność

p_{0} (x) = A \exp (a_{n + 2} x^{2} + a_{n + 1} x + \sum_{i = 1}^{n} a_{i} G_{i} (x)),

$p_0(x)=A\exp\left(a_{n+2}x^2 + a_{n+1}x + \sum_{i=1}^n a_iG_i(x)\right) \, ,$ które można przepisać jako (wystarczy „dodać zero” do wykładnika)

p_{0} (x) = A \exp (\frac{x^{2}}{2} - \frac{x^{2}}{2} + a_{n + 2} x^{2} + a_{n + 1} x + \sum_{i = 1}^{n} a_{i} G_{i} (x)),

$p_0(x)=A\exp\left(\frac{x^2}{2} - \frac{x^2}{2} + a_{n+2}x^2 + a_{n+1}x + \sum_{i=1}^n a_iG_i(x)\right) \, ,$ prowadząc do tego, czego chcesz:

p_{0} (x) = A^{'} ϕ (x) \exp (a_{n + 1} x + (a_{n + 2} + \frac{1}{2}) x^{2} + \sum_{i = 1}^{n} a_{i} G_{i} (x));

$p_0(x)=A'\,\phi(x)\exp\left(a_{n+1}x + \left(a_{n+2}+\frac{1}{2}\right)x^2 + \sum_{i=1}^n a_iG_i(x)\right) \, ;$ gotowy do rozszerzenia Taylora (przy użyciu drugiego warunku przybliżenia Gaussa).

Robiąc przybliżenie jak fizyk (co oznacza, że nie dbamy o kolejność terminu błędu), używając $\exp(t)\approx 1+t$ , mamy przybliżoną gęstość

p_{0} (x) \approx A^{'} ϕ (x) (1 + a_{n + 1} x + (a_{n + 2} + \frac{1}{2}) x^{2} + \sum_{i = 1}^{n} a_{i} G_{i} (x)) .

$p_0(x) \approx A'\,\phi(x)\left(1+a_{n+1}x + \left(a_{n+2}+\frac{1}{2}\right)x^2 + \sum_{i=1}^n a_iG_i(x)\right) \, .$ Aby zakończyć, musimy ustalić

A^{'}

$A'$ i wartości

a_{i}

$a_i$ „s. Dokonuje się tego narzucając warunki

\int p_{0} (x) d x = 1, \int x p_{0} (x) d x = 0, \int x^{2} p_{0} (x) d x = 1

$\int p_0(x)\,dx=1 \, , \qquad \int x \,p_0(x)\,dx=0 \, , \qquad \int x^2 \,p_0(x)\,dx=1$

\int G_{i} (x) p_{0} (x) d x = c_{i}, i = 1, \dots, n,

$\int G_i(x)\, p_0(x)\,dx=c_i \, , \quad i=1,\dots,n \, ,$ uzyskać układ równań, którego rozwiązanie daje

A^{'}

$A'$ i

a_{i}

$a_i$ „s.

Bez nakładania dodatkowych warunków na $G_i$ Nie wierzę, że istnieje proste rozwiązanie w formie zamkniętej.

PS Mohammad wyjaśnił podczas czatu, że z dodatkowymi warunkami ortogonalności dla $G_i$ możemy rozwiązać system.

Zen
źródło

Zen, wielkie dzięki. Teraz (nieco) rozumiem. Nie jest dla mnie jednak jasne, kiedy mówisz „W tym kontekście przybliżenie Gaussa („ bliskie gaussianity ”) oznacza, że akceptujesz wprowadzenie dwóch nowych ograniczeń: że średnia X wynosi 0, a wariancja to (powiedzmy ) 1. ” , Nie rozumiem, dlaczego coś, co jest „bliskie gaussowi”, znaczy, że tak

μ = 0

$\mu=0$ i

σ^{2} = 1

$\sigma^2=1$ . Co jeśli byłby to tylko kolejny samochód kempingowy, który miał te same wartości?

Spacey

Cześć Mohammad. Dodałem więcej informacji do odpowiedzi. Aby uzyskać poprzednie wyrażenie

p_{0} (x)

$p_0(x)$ używasz tylko tego, co nazwałem pierwszym warunkiem przybliżenia Gaussa. Będziesz używał drugiego warunku, gdy wykonasz rozszerzenie Taylora tego

p_{0} (x)

$p_0(x)$ . Mam nadzieję, że to pomoże.

Zen,

Czy mógłbyś opublikować jako komentarz końcowe wyrażenie dla

p_{0} (x)

$p_0(x)$ po wykonaniu pozostałych obliczeń? Dzięki.

Zen,

tak, mówi, że ostatecznym wyrażeniem jest:

p_{0} (z) \approx ϕ (z) (1 + \sum_{i = 1}^{N} c_{i} F_{i} (z))

$p_0(z) \approx \phi(z) (1 + \sum_{i=1}^{N} c_i F_i(z))$

Spacey,

Myślę, że w ostatnim równaniu jest literówka? ...

a_{n + 1} x

$a_{n+1}x$ dzieje się dwa razy? ...

Spacey

"Od

Odpowiedzi: