Dokładne pobieranie próbek z niewłaściwych mieszanin

Załóżmy, że chcę próbkować z ciągłego rozkładu $p(x)$ . Jeśli mam wyrażenie $p$ w formularzu

p (x) = \sum_{ja = 1}^{\infty} {za}_{ja} {fa}_{ja} (x)

$p(x) = \sum_{i=1}^\infty a_i f_i(x)$

$a_i \geqslant 0, \sum_i a_i= 1$ $f_i$ $p$

Próbkowanie etykiety z prawdopodobieństwem $i$ $a_i$
Próbkowanie $X \sim f_i$

Czy można uogólnić tę procedurę, jeśli są czasami negatywne? Podejrzewam, że widziałem to gdzieś - być może w książce, być może w dystrybucji Kołmogorowa - więc z wielką radością przyjmę referencję jako odpowiedź. $a_i$

Jeśli konkretny przykład zabawki jest pomocny, powiedzmy, że chciałbym spróbować z to wtedy weź z przyczyn technicznych, które nie powinny mieć większego znaczenia, w wielkim schemacie rzeczy.

p (x, y) \propto \exp (- x - y - α \sqrt{x y}) x, y > 0

$p(x,y) \propto \exp(-x-y-\alpha\sqrt{xy})\qquad x,y > 0$

α \in (0, 2)

$\alpha \in (0, 2)$

Zasadniczo mógłbym rozwinąć to jako następującą sumę:

p (x, y) \propto \sum_{n = 0}^{\infty} \frac{(- 1)^{n} α^{n} (\frac{n}{2)})! (\frac{n}{2)})!}{n!} (\frac{x^{n / 2)} {mi}^{- x}}{(\frac{n}{2)})!}) (\frac{y^{n / 2)} {mi}^{- y}}{(\frac{n}{2)})!}) .

$p(x,y) \propto \sum_{n=0}^\infty \frac{(-1)^n \alpha^n \left( \frac{n}{2} \right)! \left( \frac{n}{2} \right)!}{n!} \left( \frac{x^{n/2} e^{-x}}{\left( \frac{n}{2} \right)!}\right) \left( \frac{y^{n/2} e^{-y}}{\left( \frac{n}{2} \right)!}\right) .$

-terms wewnątrz suma może wówczas niezależnie pobrano próbki w zmiennych towarzyszących gamma losowy. Moim problemem jest oczywiście to, że współczynniki są „okazjonalnie” ujemne. $(x,y)$

Edycja 1 : Wyjaśniam, że staram się wygenerować dokładne próbki z , zamiast obliczać oczekiwania pod . Dla zainteresowanych niektóre z tych procedur są wymienione w komentarzach. $p$ $p$

Edycja 2 : Znalazłem odniesienie, które zawiera szczególne podejście do tego problemu, w „Niejednolitej losowej generacji zmiennych” Devroye'a . Algorytm pochodzi z „Uwagi na temat pobierania próbek z kombinacji rozkładów” Bignami i de Matteis . Metodą tą jest efektywne związanie gęstości od góry dodatnimi składnikami sumy, a następnie zastosowanie próbkowania odrzucającego na podstawie tej obwiedni. Odpowiada to metodzie opisanej w odpowiedzi @ Xi'an.

simulation monte-carlo mixture accept-reject πr8
źródło

Dlaczego nie można spróbować tylko przy użyciu wartości bezwzględnej

, a następnie negując swoje

próbkę? Innymi słowy zdefiniuj

(zakładając, że jest skończona), a następnie renormalize swoją sumę przez

a_{i}

$a_i$

X \sim f_{i}

$X\sim f_i$

Z := \sum_{i = 1}^{\infty} | a_{i} |

$Z:=\sum_{i=1}^\infty |a_i|$

Z

$Z$

Alex R.

@AlexR. Jeśli cię rozumiem, jego wersja byłaby praktyczna do obliczania oczekiwań pod

, ale nadal nie do pobierania dokładnych próbek z

. Z pewnością jest to odpowiedź na istotny problem, choć nie do końca tego, czego szukam.

p

$p$

p

$p$

πr8

To zależy od tego, co zamierzasz zrobić z tą próbką. Na przykład w celu obliczenia momentów wydaje się proste uogólnienie pobierania próbek z mieszanin gęstości poprzez dodatkowe oznaczenie dowolnego punktu wybranego ze składnika o ujemnym współczynniku jako punktu „ujemnego” i ważenie jego udziału ujemnie w oszacowaniu momentu. Podobnie możesz zbudować KDE z takimi ujemnymi wagami, pod warunkiem, że zaakceptujesz możliwość, że niektóre jego wartości będą ujemne! (cc @ Xi'an)

whuber

Czym byłaby „dokładna” próbka rozkładu? Ponownie, to, czy i jak można wykorzystać mieszaninę o ujemnej wadze, sprowadza się do tego, jak zamierzasz użyć próbki.

whuber

To nie odpowiada na twoje pytanie, ale możesz być zainteresowany przeczytaniem o próbkowaniu z prawdopodobieństw dziennika stats.stackexchange.com/a/260248/35989

Tim

Odpowiedzi:

Zastanawiałem się nad tym pytaniem, ale nigdy nie znalazłem satysfakcjonującego rozwiązania.

Jedną z możliwych właściwości jest to, że jeśli gęstość zapisuje gdzie jest gęstością taką, że , symulując z odrzucając te symulacje z prawdopodobieństwem dostarcza symulacje z . W obecnym przypadku jest znormalizowaną wersją dodatnich składników masy

f (x) = \frac{g (x) - ω h (x)}{1 - ω} ω > 0

$f(x)=\frac{g(x)-\omega h(x)}{1-\omega}\qquad \omega>0$

g

$g$

g (x) \geq ω h (x)

$g(x)\ge \omega h(x)$

g

$g$

ω h (x) / g (x)

$\omega h(x)/g(x)$

f

$f$

g

$g$

jest reszta

jest to rzeczywiście znajdują się w Biblia symulacyjna Devroye'a,Niejednorodne generowanie zmiennych losowych, Rozdział II.7.4, ale wynika z prostego rozumowania akceptacji-odrzucenia.

g (x) = \sum_{α_{i} > 0} α_{i} f_{i} (x) / \sum_{α_{i} > 0} α_{i}

$g(x)=\sum_{\alpha_i>0} \alpha_i f_i(x) \big/ \sum_{\alpha_i>0} \alpha_i$

ω h

$\omega h$

h (x) = \sum_{α_{i} < 0} α_{i} f_{i} (x) / \sum_{α_{i} < 0} α_{i}

$h(x)=\sum_{\alpha_i<0} \alpha_i f_i(x) \big/ \sum_{\alpha_i<0}\alpha_i$

Pierwszy obliczeniowa wadą tego podejścia jest to, że pomimo symulujące pierwszy składnik wybrany z , sum zarówno i musi być wyliczana dla etapu odrzucenia. Jeśli sumy są nieskończone bez wersji zamkniętej, uniemożliwia to implementację metody akceptowania-odrzucania . $f_i$ $g$ $h$

Druga trudność polega na tym, że ponieważ obie sumy wag są tego samego rzędu współczynnik odrzucenia nie ma górnej granicy. W rzeczywistości, jeśli szereg związany z nie jest absolutnie zbieżny, prawdopodobieństwo akceptacji wynosi zero!

\sum_{α_{i} > 0} α_{i} = 1 - \sum_{α_{i} < 0} α_{i}

$\sum_{\alpha_i>0}\alpha_i = 1 - \sum_{\alpha_i<0}\alpha_i$

1 - ϱ^{accept} = \sum_{α_{i} < 0} | α_{i} | / \sum_{i} | α_{i} |

$1-\varrho^\text{accept}=\sum_{\alpha_i<0}|\alpha_i| \Big/ \sum_i |\alpha_i|$ $\alpha_i$ W tej sytuacji nie można zaimplementować tej metody.

W przypadku reprezentacji mieszanki, jeżeli można zapisać jako $f$

f (x) = \sum_{i = 1}^{\infty} α_{i} \frac{g_{i} (x) - ω_{i} h (x_{i})}{1 - ω_{i}} ω_{i} > 0

$f(x)=\sum_{i=1}^\infty \alpha_i \frac{g_i(x)-\omega_i h(x_i)}{1-\omega_i}\qquad \omega_i>0$

(g_{i}, h_{i})

$(g_i,h_i)$

g_{i} (x) - ω_{i} h (x_{i}) > 0

$g_i(x)-\omega_i h(x_i)>0$

f (x) = κ h (x) {1 - a_{1} (x) + a_{2} (x) - \dots}

$f(x)=\kappa h(x)\{1-a_1(x)+a_2(x)-\cdots\}$

a_{i} (x)

$a_i(x)$

n

$n$

h

$h$

Problem ten został ostatnio rozważony w kontekście debiasingu tendencyjnych estymatorów dla MCMC, jak na przykład w podejściu Glynn-Rhee . I rosyjski estymator ruletki (w związku z problemem fabryki Bernoulli). I bezstronna metodologia MCMC . Ale nie ma ucieczki od kwestii znaku ... Co sprawia, że jego użycie jest trudne przy szacowaniu gęstości jak w metodach pseudo-marginalnych.

Po dalszym przemyśleniu doszedłem do wniosku, że nie ma ogólnej metody na stworzenie rzeczywistej symulacji z tej serii (zamiast mieszanki, która okazuje się myląca), bez narzucania dalszej struktury elementom serii, jak ta w powyższy algorytm z Biblii Devroye . Rzeczywiście, ponieważ większość (?) Gęstości pozwala na ekspansję szeregową powyższego rodzaju, w przeciwnym razie oznaczałoby to istnienie pewnego rodzaju uniwersalnej maszyny symulacyjnej ...

Xi'an
źródło

Dziękuję Ci! Doceniam również dodatkowe referencje.

πr8

p

$p$

p = λ g - μ h

$p = \lambda g - \mu h$

X \sim g

$X \sim g$

λ g ⩾ μ h

$\lambda g \geqslant \mu h$

{(x, y) : μ h (x) < y < λ g (x)}

$\{(x,y): \mu h (x) < y < \lambda g(x) \}$

(x, y)

$(x,y)$

x

$x$

Myślałem też o samplerze kromki, ale nie jest to „dokładne” w sensie symulacji.

Xi'an

Mam szkic pomysłu, który mógłby zadziałać. To nie jest dokładne , ale mam nadzieję, że asymptotycznie dokładne. Aby przekształcić ją w naprawdę rygorystyczną metodę, w której kontrolowane jest przybliżenie, lub coś w tym zakresie można udowodnić, prawdopodobnie potrzeba dużo pracy.

$g$ $h$

p = λ g - μ h

$p=\lambda g - \mu h$

$\lambda-\mu=1$ $\lambda\geq 1$

$N$ $p$

$\lambda N$ $g$
$\mu N$ $h$

$(\lambda-\mu)N=N$ $N$ $n$ $N$

$x$ $v$ $x$ $\epsilon$ $g$ $v$ $\lambda Ng(x)\epsilon$ $\mu Nh(x)\epsilon$ $Np(x)\epsilon$ . W tym celu należy założyć, że liczba punktów w objętości jest wystarczająco duża.

$g$ $h$

Uwaga na temat dokładnej metody:

$g$ $h$ $g$ $h$ $x$ $(\lambda p - \mu q)$ $p$ $q$ $\lambda p$ $p$ $\lambda>1$

Benoit Sanchez
źródło

Rozważyłem to, ale odrzuciłem to, ponieważ moje początkowe wysiłki w celu wykazania, że może on działać, doprowadziły do przekonania, że będzie to w najlepszym razie przybliżenie i potencjalnie słabe. Tak, asymptotycznie może to działać, ale nie spełni żądania OP dotyczące „dokładnego” próbkowania z dystrybucji.

whuber

Wydajność tej metody jest dokładnie tego samego rzędu, co dokładna metoda akceptowania-odrzucania.

Xi'an

g

$g$

h

$h$

x

$x$

g

$g$

h

$h$

g / (g + h)

$g/(g+h)$

g

$g$

h

$h$

@BenoitSanchez Dziękujemy za szczegółową odpowiedź; Szczególnie doceniam komentarze na końcu dotyczące (potencjalnej) niemożności dokładności. W przeszłości spotkałem fabryki Bernoulli i uważałem je za dość trudne; Spróbuję wrócić do tematu i sprawdzić, czy zawiera on jakieś informacje.

πr8