Czy mogę podpróbkować duży zestaw danych przy każdej iteracji MCMC?

Problem: Chcę wykonać próbkowanie Gibbsa, aby wywnioskować trochę z tyłu na podstawie dużego zestawu danych. Niestety mój model nie jest bardzo prosty, dlatego próbkowanie jest zbyt wolne. Rozważałbym podejścia wariacyjne lub równoległe, ale zanim przejdę tak daleko ...

Pytanie: Chciałbym wiedzieć, czy mógłbym losowo próbować (z zastępstwem) z mojego zbioru danych przy każdej iteracji Gibbs, aby mieć mniej instancji do nauki na każdym kroku.

Moją intuicją jest to, że nawet gdybym zmienił próbki, nie zmieniłbym gęstości prawdopodobieństwa i dlatego próbka Gibbsa nie powinna zauważyć sztuczki. Czy mam rację? Czy są jakieś odniesienia do osób, które to zrobiły?

sampling bootstrap mcmc large-data gibbs Alberto
źródło

Nawiasem mówiąc: innym pomysłem byłoby wykonanie wielu analiz na losowych podpróbkach dużego zestawu danych. W ten sposób możesz również zweryfikować krzyżowo.

przypuszcza

Nie mogę odpowiedzieć na żadne dokładne pytanie z żadnym autorytetem (chociaż podejrzewam, że po prostu zwiększysz błąd przybliżenia, który pojawia się w Monte Carlo), smutna prawda jest taka, że jest to po prostu niefortunny aspekt analiz Bayesian MCMC: są obliczeniowo kosztowny. Komentarz @conjectures to świetny pomysł, ale tak naprawdę nie stanowi sedna problemu: wyciągnięcie wszystkich próbek dla każdej osoby jest zbyt drogie. Radzę napisać własny kod C do ciężkiej pracy (Rcpp w R, Cython w Python itp.), A także równolegle (gdy nie ma zależności od gałęzi).

@conjectures To brzmi jak worek małych butów Michaela Jordana.

jaradniemi

Sugerowałbym zmianę twojego samplera, aby całkowicie uniknąć ukrytego rozszerzenia zmiennej. Nie będziesz już miał samplera Gibbsa, ale algorytm Metropolis-Hastings z propozycją opartą na normalnym przybliżeniu prawdopodobieństwa powinien działać dobrze. Patrz sekcja 16.4 2. wydania analizy danych bayesowskich.

jaradniemi

Jest to obszar aktywnych badań, których nie znam na tyle dobrze, aby dokładnie dla was podsumować. Patrz na przykład jmlr.org/proceedings/papers/v32/bardenet14.pdf i arxiv.org/pdf/1304.5299v4.pdf

Andrew M oceniają

Odpowiedzi:

O strategiach podpróbkowania: na przykład rozważmy dwie obserwacje i i rozważmy niektórym priorytetom znaczenia i zmienność. Niech , a następnie chcemy ocenić to COnsider teraz zmienna dwumianowa . Jeśli wybraliśmy , jeśli wybraliśmy , nowy tylny to gdzie $X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ i . Teraz, jeśli chcesz próbki z etapu Gibbs trzeba, aby obliczyć i bo . Jeśli w przeciwnym razie użyjesz Metropolis Hastings, to zaproponujesz nowy stan i musisz obliczyć tylko jeden między i , ten związany z proponowanymi stanami, ale ty trzeba obliczyć jeden między i

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$ nawet dla ostatniego zaakceptowanego stanu . Nie jestem więc pewien, czy metropolia da ci jakąś przewagę. Ponadto rozważamy tutaj proces dwuwariantowy, ale w przypadku procesu wielowymiarowego próbkowanie może być bardzo skomplikowane w przypadku metropolii.

δ

$\delta$

δ

$\delta$

niandra82
źródło