Specjalny rozkład prawdopodobieństwa

Jeśli jest rozkładem prawdopodobieństwa z niezerowymi wartościami na , dla jakiego typu (typów) istnieje stała taka, że dla wszystkich ? $p(x)$ $[0,+\infty)$ $p(x)$ $c\gt 0$ $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ $0\lt\epsilon\lt 1$

Powyższa nierówność jest w rzeczywistości rozbieżnością Kullbacka-Leiblera między rozkładem a jego skompresowaną wersją . Dowiedziałem się, że ta nierówność dotyczy rozkładów wykładniczych, gamma i Weibulla i jestem ciekawy, czy to działa dla większej klasy rozkładów prawdopodobieństwa. $p(x)$ ${(1+\epsilon)}p({x}{(1+\epsilon)})$

Masz pojęcie, co oznacza ta nierówność?

probability stochastic-processes kullback-leibler probability-inequalities Sus20200
źródło

Ponieważ ma wartość dodatnią, byłby skompresowany (w kierunku x), a nie rozciągnięty.

ϵ

$\epsilon$

Glen_b

To pytanie jest dwuznaczne: jakie są twoje kwantyfikatory? Czy chcesz zachować tę nierówność dla wszystkich , przynajmniej jednego , czy czegoś innego? Jest dany a priori czy masz na myśli nie powinno istnieć co najmniej jedną taką wartość z ? A skoro wspominasz o klasach rozkładów prawdopodobieństwa, przez „ ” masz na myśli jeden konkretny rozkład, czy może masz na myśli ich parametryczną rodzinę?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

whuber

@whuber Dzięki za komentarze. Poprawiłem opis problemu, aby wyjaśnić wspomniane problemy. Mam na myśli, dla jakiego powyższa nierówność ma miejsce? Odpowiedzią może być albo wprowadzenie parametrycznej rodziny rozkładów, albo zaproponowanie równania różniczkowego dla które wystarcza i daje pożądaną nierówność.

p (x)

$p(x)$

p (x)

$p(x)$

Sus20200,

Czy ta nierówność nie działałaby dla żadnego p (x), który jest ciągły i ma nieskończone wsparcie? Obliczasz dywergencję KL w rodzinie parametrycznej ( . Jeśli KL jest podatny na różniczkowanie na poziomie 0, to jego pochodna wynosi 0. Biorąc za maksimum krzywizny KL (dla ) mamy granicę. Przy dodatkowej pracy może być możliwe związanie C z właściwości p

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

Guillaume Dehaene,

Może to być nieskończoność, o ile . Pierwszym rozszerzeniem KL jest

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

Arthur B.,

Czynności wstępne

pisać

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

Logarytmy i związek między i sugerują wyrażanie zarówno jak i jego argumentu jako wykładników. W tym celu zdefiniuj $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

dla wszystkich rzeczywistych dla których zdefiniowano prawą stronę i są równe gdziekolwiek . Zauważ, że zmiana zmiennych pociąga za sobą i (przyjmując za gęstość rozkładu), że prawo prawdopodobieństwa całkowitego można w ten sposób wyrazić jako $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

Załóżmy gdy . $e^{q(y)+y}\to 0$ $y\to\pm\infty$ Wyklucza to rozkłady prawdopodobieństwa z nieskończenie wieloma skokami gęstości w pobliżu lub . W szczególności, jeśli ogony są ostatecznie monotoniczne, implikuje to założenie, pokazując, że nie jest ono poważne. $p$ $0$ $\infty$ $p$ $(1)$

Aby ułatwić pracę z logarytmami, również to zauważ

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

Ponieważ następujące obliczenia zostaną wykonane do wielokrotności , zdefiniuj $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

Równie dobrze możemy zastąpić przez , z odpowiadającym i dodatnią odpowiadającą dodatniej . $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

Analiza

Jednym oczywistym sposobem, w jaki nierówność może się nie powieść, byłoby całki na część . Stałoby się tak, gdyby na przykład istniała dowolny właściwy przedział liczb dodatnich, bez względu na to, jak mały, w którym były identycznie zerowe, ale nie były zerowe w przedziale . nieskończone z prawdopodobieństwem dodatnim. $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

Ponieważ pytanie jest nieokreślone dotyczące natury , moglibyśmy ugrzęznąć w kwestiach technicznych dotyczących tego, jak gładkie może być . Unikajmy takich problemów, wciąż mając nadzieję na uzyskanie wglądu, zakładając, że wszędzie ma tyle pochodnych, ile chcielibyśmy użyć. (Dwa będą wystarczające, jeśli jest ciągłe.) Ponieważ to gwarantuje, że pozostaje ograniczone w każdym ograniczonym zestawie, oznacza to, że nigdy nie jest równe zero, gdy . $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

Zauważ, że pytanie naprawdę dotyczy zachowania gdy zbliża się do zera z góry. Ponieważ ta całka jest funkcją ciągłą w przedziale , osiąga pewne maksymalne gdy jest ograniczone do dowolnego przedziału dodatniego , co pozwala nam wybrać , ponieważ oczywiście $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

sprawia, że nierówność działa. Właśnie dlatego musimy zajmować się tylko obliczeniami modulo . $\epsilon^2$

Rozwiązanie

Korzystając ze zmian zmiennej z na , z na i na , obliczmy w drugim rzędzie w (lub ) w nadziei na osiągnięcie uproszczenie. W tym celu zdefiniuj $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

być rzędem - pozostałe w rozwinięciu Taylora wokół . $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

Zmiana zmiennych na w całce lewej ręki pokazuje, że musi zniknąć, jak zauważono w założeniu po . Zmiana zmiennych z powrotem na w całce z prawej strony daje $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

Nierówność ma miejsce (według naszych różnych technicznych założeń) wtedy i tylko wtedy, gdy współczynnik po prawej stronie jest skończony. $\delta^2$

Interpretacja

To dobry moment, aby przestać, ponieważ wydaje się, że odkrywa on zasadniczy problem: jest ograniczony kwadratową funkcją właśnie wtedy, gdy błąd kwadratowy w rozszerzeniu Taylora nie eksploduje (względem rozkładu), gdy zbliża się do . $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

Sprawdźmy niektóre przypadki wymienione w pytaniu: rozkłady wykładnicze i gamma. (Wykładniczy jest szczególnym przypadkiem gammy.) Nigdy nie musimy się martwić parametrami skali, ponieważ zmieniają jedynie jednostki miary. Liczą się tylko parametry nieskalowane.

Tutaj, ponieważ dla , Rozwinięcie Taylora wokół dowolnego jestTwierdzenie Taylora z Remainderem sugeruje, że jest zdominowany przez dla wystarczająco małego . Ponieważ oczekiwanie na jest skończone, nierówność obowiązuje dla rozkładów gamma. $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

Podobne obliczenia sugerują nierówność dla rozkładów Weibulla, rozkładów półnormalnych, rozkładów lognormalnych itp. W rzeczywistości, aby uzyskać kontrprzykłady, musielibyśmy naruszyć co najmniej jedno założenie, zmuszając nas do spojrzenia na rozkłady, w których znika w pewnym przedziale lub nie podlega ciągłej dwukrotnej różniczkowalności lub ma nieskończenie wiele trybów. Są to łatwe testy do zastosowania do dowolnej rodziny rozkładów powszechnie stosowanych w modelowaniu statystycznym. $p$

Whuber
źródło

Specjalny rozkład prawdopodobieństwa

Odpowiedzi:

Czynności wstępne

Analiza

Rozwiązanie

Interpretacja