Czym ABC i MCMC różnią się w swoich aplikacjach?

O ile mi wiadomo, przybliżone obliczenia bayesowskie (ABC) i łańcuch Markowa Monte Carlo (MCMC) mają bardzo podobne cele. Poniżej opisuję moje rozumienie tych metod oraz sposób, w jaki postrzegam różnice w ich zastosowaniu do rzeczywistych danych.

Przybliżone obliczenia bayesowskie

ABC polega na pobraniu próbek parametru $\theta$ z poprzedniego poprzez symulację numeryczną obliczenia statystyczne $x_i$ która w porównaniu do pewnego obserwowanej $x_{obs}$ . Na podstawie algorytmu odrzucenia, $x_i$ jest albo zachowane lub odrzucone. Lista zachowanych $x_i$ utworzyła rozkład tylny.

Markov Chain Monte Carlo

MCMC polega na próbkowaniu wcześniejszego rozkładu parametru . Pobiera pierwszą próbkę θ 1 , oblicza P ( x o b s | θ 1 ) P ( θ 1 ), a następnie przeskakuje (zgodnie z pewną regułą) do nowej wartości θ 2, dla której P ( x o b s | θ 2 ) P ( θ 2 ) jest obliczane ponownie. Stosunek P ( x o b $\theta$$\theta_1$$P(x_{obs} | \theta_1)P(\theta_1)$$\theta_2$$P(x_{obs} | \theta_2)P(\theta_2)$ jest obliczane i w zależności od pewnej wartości progowej następny skok nastąpi z pierwszej lub drugiej pozycji. Eksploracjaθwartości idzie jeden i jeden i do końca, rozkład zatrzymanychθwartości jest rozkład a posteriorip(θ|x)(z tego powodu, że nie jest jeszcze znana do mnie).$\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}$$\theta$$\theta$$P(\theta | x)$

Zdaję sobie sprawę, że moje wyjaśnienia nie odzwierciedlają różnorodności metod, które istnieją pod każdym z tych terminów (szczególnie w przypadku MCMC).

ABC vs MCMC (plusy i minusy)

ABC ma tę zaletę, że nie trzeba być w stanie analitycznie rozwiązać . Jako taki ABC jest wygodny dla złożonego modelu, w którym MCMC by tego nie zrobił.$P(x | \theta)P(\theta)$

MCMC pozwala na przeprowadzanie testów statystycznych (test ilorazu wiarygodności, test G, ...), podczas gdy nie sądzę, aby było to możliwe w przypadku ABC.

Czy mam rację do tej pory?

Pytanie

• Czym ABC i MCMC różnią się w swoich aplikacjach? Jak ktoś decyduje się na zastosowanie jednej lub drugiej metody?

Kilka dodatkowych komentarzy do odpowiedzi Björna:

1. ABC został po raz pierwszy wprowadzony przez Rubina (1984) jako wyjaśnienie natury wnioskowania bayesowskiego, a nie do celów obliczeniowych. W tym artykule wyjaśnił, w jaki sposób rozkład próbkowania i rozkład poprzedni oddziałują na siebie, tworząc rozkład boczny.

2. ABC jest jednak wykorzystywana głównie ze względów obliczeniowych. Genetycy populacyjni opracowali metodę opartą na modelach drzewiastych, w których prawdopodobieństwo zaobserwowanej próbki było niemożliwe. Schematy MCMC (Data Augmentation), które były dostępne w takich ustawieniach, były wyjątkowo nieefektywne, podobnie jak ważność próbkowania, nawet z parametrem jednego wymiaru ... U podstaw ABC jest substytutem metod Monte Carlo, takich jak MCMC lub PMC, gdy nie są one dostępne do wszystkich praktycznych celów. Gdy są dostępne, ABC pojawia się jako serwer proxy, którego można użyć do ich skalibrowania, jeśli działa szybciej.

3. W bardziej nowoczesnej perspektywie osobiście uważam ABC za przybliżoną metodę wnioskowania, a nie technikę obliczeniową. Budując model przybliżony, można wnioskować na temat interesującego parametru, niekoniecznie polegając na precyzyjnym modelu. Chociaż w tym ustawieniu wymagany jest pewien stopień walidacji, nie jest on mniej ważny niż wykonywanie uśredniania modelu lub nieparametrycznych. W rzeczywistości ABC można postrzegać jako specjalny rodzaj nieparametrycznych statystyk bayesowskich.

4. Można również wykazać, że (głośny) ABC jest idealnie dobrze zdefiniowanym podejściem bayesowskim, jeśli zastąpi się oryginalny model i dane głośnym. Jako taki pozwala na wszystkie Bayesowskie wnioski, jakie można sobie wyobrazić. W tym testowanie. Nasz wkład w debatę na temat ABC i testowania hipotez jest taki, że przybliżony model leżący u podstaw ABC może okazać się słabo przygotowany do oceny trafności hipotezy na podstawie danych, ale niekoniecznie , co jest równie dobre, ponieważ większość zastosowań ABC w populacji genetyka zajmuje się wyborem modelu.

5. W jeszcze nowszej perspektywie widzimy ABC jako Bayesowską wersję wnioskowania pośredniego, w której parametry modelu statystycznego są powiązane z momentami z góry określonej statystyki. Jeśli ta statystyka jest wystarczająca (lub wystarczająca w języku narodowym) do zidentyfikowania tych parametrów, można wykazać , że ABC zbiega się z prawdziwą wartością parametrów wraz z liczbą obserwacji.

Różnica polega na tym, że w przypadku ABC nie potrzebujesz wyrażenia analitycznego dla a zamiast tego przybliżasz je, symulując dane i sprawdzając, dla których wartości $P(x|\theta)$$\theta$dane symulowane najczęściej (w przybliżeniu) odpowiadają obserwowanym danym (z proponowanymi wartościami, np. losowo wybieranymi z poprzedniego). W prostych przypadkach, takich jak pojedyncza dwumianowa zmienna losowa o niezbyt dużej wielkości próbki, możesz nawet wymagać dokładnego dopasowania, aw takich przypadkach naprawdę nic nie możesz zrobić z tymi późniejszymi próbkami, z którymi nie mógłbyś również zrobić standardowe próbki MCMC. W przypadku bardziej skomplikowanych sytuacji z ciągłymi (nawet dla wielowymiarowych dyskretnych wyników) i potencjalnie wielowymiarowych wyników wymagających dokładnego dopasowania nie jest już wykonalne.

Istnieją w rzeczywistości wersje ABC MCMC, które rozwiązują problem polegający na tym, że jeśli masz przeor, który nie bardzo przypomina tylny (np. Ponieważ przeor jest bardzo nieinformacyjny), pobieranie próbek z przeszukiwania jest wyjątkowo nieefektywne, ponieważ bardzo rzadko będziesz uzyskać ścisłe dopasowanie między obserwowanymi a symulowanymi danymi.

$P(x|\theta)$$P(x|\theta)$$P(x|\theta)$nie jest dostępny analitycznie. Oczywiście w takich przypadkach mogą istnieć inne możliwe opcje (np. INLA, kwadratowe przybliżenia prawdopodobieństw itp.), Które mogą być bardziej wydajne / skuteczne w przypadku konkretnych problemów. W pewnym sensie wszelkie ograniczenia tego, co można zrobić z próbkami tylnymi z ABC, wynikają tylko z wymogu przybliżonego dopasowania rzeczywistych i symulowanych danych (jeśli można wymagać dokładnego dopasowania, w ogóle nie byłoby problemów). Istnieje kilka dobrych prac wprowadzających, np. Praca Marin i in. (2012) . Przynajmniej jeden ze współautorów (@ Xi'an) jest tutaj aktywnym współpracownikiem i chciałbym również tutaj przedstawić swoje przemyślenia - wierzę, że może on powiedzieć coś więcej na temat testowania.