Stosunek prawdopodobieństw do stosunku plików PDF

Korzystam z Bayesa, aby rozwiązać problem klastrowania. Po kilku obliczeniach kończę z koniecznością uzyskania stosunku dwóch prawdopodobieństw:

P (A) / P (B)

$P(A)/P(B)$

być w stanie uzyskać . Te prawdopodobieństwa są uzyskiwane przez integrację dwóch różnych wielowymiarowych KDE 2D, jak wyjaśniono w tej odpowiedzi : $P(H|D)$

P (A) = \iint_{x, y : \hat{f} (x, y) < \hat{f} (r_{a}, s_{a})} \hat{f} (x, y) d x d y

$P(A) = \iint_{x, y : \hat{f}(x, y) < \hat{f}(r_a, s_a)} \hat{f}(x,y)\,dx\,dy$

P (B) = \iint_{x, y : \hat{g} (x, y) < \hat{g} (r_{b}, s_{b})} \hat{g} (x, y) d x d y

$P(B) = \iint_{x, y : \hat{g}(x, y) < \hat{g}(r_b, s_b)} \hat{g}(x,y)\,dx\,dy$

gdzie $\hat{f}(x, y)$ i $\hat{g}(x, y)$ to KDE, a integracja jest wykonywana dla wszystkich punktów poniżej progów $\hat{f}(r_a, s_a)$ i $\hat{g}(r_b, s_b)$ . Oba KDE używają jądra Gaussa . Reprezentatywny obraz KDE podobny do tych, nad którymi pracuję, można zobaczyć tutaj: Integrowanie estymatora gęstości jądra w 2D .

Obliczam KDE za pomocą pythonfunkcji stats.gaussian_kde , więc przyjmuję dla niego następującą ogólną formę:

K D E (x, y) = \frac{1}{n} \sum_{i = 1}^{n} - \frac{1}{2 h^{2}} e^{- \frac{(x - x_{i})^{2} + (y - y_{i})^{2}}{2 h^{2}}}

$KDE(x,y) = \frac{1}{n} \sum_{i=1}^{n} -\frac{1}{2h^2} e^{-\frac{(x-x_i)^2 + (y-y_i)^2}{2h^2}}$

gdzie njest długość mojego szeregu punktów i hużywana przepustowość.

Całki powyżej są obliczane przy użyciu procesu Monte Carlo, który jest dość drogi obliczeniowo. Czytałem gdzieś (zapomniałem gdzie, przepraszam), że w takich przypadkach można zastąpić stosunek prawdopodobieństwa przez stosunek plików PDF (KDE) ocenianych w punktach progowych, aby uzyskać równie ważne wyniki. Interesuje mnie to, ponieważ obliczanie współczynnika KDE jest o rząd wielkości szybsze niż obliczanie stosunku całek za pomocą MC.

Pytanie sprowadza się zatem do ważności tego wyrażenia:

\frac{P (A)}{P (B)} = \frac{\hat{f} (r_{a}, s_{a})}{\hat{g} (r_{b}, s_{b})}

$\frac{P(A)}{P(B)} = \frac{\hat{f}(r_a, s_a)}{\hat{g}(r_b, s_b)}$

W jakich okolicznościach, jeśli w ogóle, czy mogę powiedzieć, że ta relacja jest prawdziwa?

[naprawiona literówka (EDYCJA)]

Dodaj :

Oto w zasadzie to samo pytanie, ale w bardziej matematycznej formie.

probability bayesian maximum-likelihood kernel-smoothing Gabriel
źródło

Zauważ, że istnienie odpowiedniego jest zapewnione przez twierdzenie o wartości średniej dla całek.

r_{a, b}, s_{a, b}

$r_{a,b}, s_{a,b}$

Dave

Uważam, że współczynnik Millsa może być istotny.

whuber

@ gdy ten stosunek najwyraźniej wymaga znajomości, której wartości P(X)próbuję obliczyć. Czy możesz rozwinąć nieco znaczenie tego parametru?

Gabriel

Odpowiedzi:

KDE to mieszanka rozkładów normalnych. Spójrzmy na jeden z nich.

Definicje i pokazują, że ich wartości są niezmienne przy tłumaczeniach i skalowaniu w płaszczyźnie, więc wystarczy wziąć pod uwagę standardowy rozkład normalny z PDF . Nierówność $P(A)$ $P(B)$ $f$

f (x, y) \leq f (r, s)

$f(x,y) \le f(r,s)$

jest równa

x^{2} + y^{2} \geq r^{2} + s^{2} .

$x^2 + y^2 \ge r^2 + s^2.$

Wprowadzenie współrzędnych biegunowych umożliwia przepisanie całki $\rho, \theta$

P (r, s) = \frac{1}{2 π} \int_{0}^{2 π} \int_{\sqrt{r^{2} + s^{2}}}^{\infty} ρ \exp (- ρ^{2} / 2) d ρ d θ = \exp (- (r^{2} + s^{2}) / 2) = 2 π f (r, s) .

$P(r,s) = \frac{1}{2\pi}\int_0^{2\pi}\int_\sqrt{r^2+s^2}^\infty \rho \exp(-\rho^2/2) d\rho d\theta= \exp(-(r^2+s^2)/2) = 2\pi f(r,s).$

Teraz rozważ mieszaninę. Ponieważ jest liniowy,

\begin{aligned} P (r, s) & = \frac{1}{n} \sum_{i} 2 π f ((r - x_{i}) / h, (s - y_{i}) / h) \\ = 2 π h^{2} (\frac{1}{n} \sum_{i} \frac{1}{h^{2}} f ((r - x_{i}) / h, (s - y_{i}) / h)) \\ = 2 π h^{2} K D E (r, s) . \end{aligned}

$\eqalign{ P(r,s) &= \frac{1}{n}\sum_i 2\pi f((r-x_i)/h, (s-y_i)/h) \\ &= 2\pi h^2\left(\frac{1}{n}\sum_i \frac{1}{h^2} f((r-x_i)/h, (s-y_i)/h)\right) \\ &=2\pi h^2 KDE(r,s). }$

Rzeczywiście, i są proporcjonalne. Stała proporcjonalności wynosi . $f$ $P$ $2\pi h^2$

To, że taki stosunek proporcjonalności między i jest szczególny, $P$ $f$ można docenić, rozważając prosty kontrprzykład. Niech ma równomierny rozkład na mierzalnym zbiorze pola powierzchni, a ma jednolity rozkład na mierzalnym zbiorze który jest rozłączny od i ma obszar . Następnie mieszanina z PDF ma stałą wartość na , na , a gdzie indziej wynosi zero. Istnieją trzy przypadki do rozważenia: $f_1$ $A_1$ $f_2$ $A_2$ $A_1$ $\mu\gt 1$ $f=f_1/2 + f_2/2$ $1/2$ $A_1$ $1/(2\mu)$ $A_2$

$(r,s)\in A_1$ . Tutaj osiąga maksimum, skąd . Stosunek . $f(r,s)=1/2$ $P(r,s)=1$ $f(r,s)/P(r,s) = 1/2$
$(r,s)\in A_2$ . Tutaj jest ściśle mniejsze niż ale większe niż . Zatem region integracji jest dopełnieniem a wynikowa całka musi wynosić . Stosunek . $f(r,s)$ $1/2$ $0$ $A_1$ $1/2$ $f(r,s)/P(r,s) = (1/(2\mu))/(1/2) = 1/\mu$
Gdzie indziej wynosi zero, a całka wynosi zero. $f$ $P$

Najwyraźniej stosunek (jeśli jest zdefiniowany) nie jest stały i waha się między a . Chociaż ten rozkład nie jest ciągły, można to zrobić, dodając do niego rozkład normalny . Zmniejszając obie wartości własne , zmieni to bardzo niewiele rozkład i da jakościowo te same wyniki - dopiero teraz wartości współczynnika będą zawierać wszystkie liczby z przedziału . $1$ $1/\mu \ne 1$ $(0,\Sigma)$ $\Sigma$ $f/P$ $[1,1/\mu]$

Ten wynik również nie uogólnia na inne wymiary. Zasadniczo takie same obliczenia, które rozpoczęły tę odpowiedź, pokazują, że jest niepełną funkcją gamma i że wyraźnie nie jest tym samym co . To, że dwa wymiary są wyjątkowe, można zauważyć, zauważając, że całkowanie w dotyczy zasadniczo odległości, a gdy są one rozkładem normalnym, funkcja odległości ma - który jest rozkładem wykładniczym. Funkcja wykładnicza jest wyjątkowa, ponieważ jest proporcjonalna do własnej pochodnej - stąd całka i całka muszą być proporcjonalne. $P$ $f$ $P$ $\chi^2(2)$ $f$ $P$

Whuber
źródło

To jest niesamowicie odpowiedzialny fan, dziękuję bardzo. Zajmie mi trochę czasu, aby w pełni przetworzyć wszystko, co tu napisałeś, ale całkowicie ufam twoim obliczeniom, co oznacza, że oznaczyłem pytanie jako rozwiązane. Twoje zdrowie.

Gabriel