MCMC z algorytmem Metropolis-Hastings: wybór propozycji

13

Muszę wykonać symulację, aby ocenić całkę funkcji 3-parametrowej, mówimy , która ma bardzo skomplikowaną formułę. Poproszono o użycie metody MCMC w celu jej obliczenia i zaimplementowania algorytmu Metropolis-Hastings w celu wygenerowania wartości rozłożonych jako , i zasugerowano użycie 3 różnych normalnych jako rozkładu propozycji. Czytając kilka przykładów na ten temat, zauważyłem, że niektóre z nich używają normalnej ze stałymi parametrami a niektóre ze zmienną średnią , gdzie jest ostatnią akceptowaną wartością w podziale według . Mam wątpliwości co do obu podejść:ffN(μ,σ)N(X,σ)Xf

1) Jakie jest znaczenie wyboru ostatniej zaakceptowanej wartości jako nowego środka dystrybucji naszych propozycji? Moja intuicja mówi, że powinno to gwarantować, że nasze wartości będą bliższe wartościom rozłożonym jako a szanse na akceptację byłyby większe. Ale czy to nie koncentruje zbytnio naszej próbki? Czy zagwarantowane jest, że jeśli otrzymam więcej próbek, łańcuch się zatrzyma?f

2) Czy wybór stałych parametrów (ponieważ jest naprawdę trudny do analizy) nie byłby naprawdę trudny i zależałby od pierwszej próbki, którą musimy wybrać, aby uruchomić algorytm? W takim przypadku, jakie byłoby najlepsze podejście do znalezienia, które z nich jest lepsze?f

Czy jedno z tych podejść jest lepsze od drugiego, czy to zależy od przypadku?

Mam nadzieję, że moje wątpliwości są jasne i byłbym zadowolony, gdyby można było podać literaturę (przeczytałem kilka artykułów na ten temat, ale więcej jest lepszych!)

Z góry dziękuję!

Giiovanna
źródło

Odpowiedzi:

10

1) Możesz pomyśleć o tej metodzie jako o podejściu przypadkowym. Kiedy rozkład propozycji jest powszechnie nazywany algorytmem metropolii. Jeśli jest zbyt mała, będziesz miał wysoki wskaźnik akceptacji i bardzo powoli będziesz badać rozkład docelowy. W rzeczywistości, jeśli jest zbyt mała, a dystrybucja jest multimodalna, próbnik może utknąć w określonym trybie i nie będzie w stanie w pełni zbadać dystrybucji docelowej. Z drugiej strony, jeśli jest zbyt duża, wskaźnik akceptacji będzie zbyt niski. Ponieważ masz trzy wymiary, rozkład propozycji miałby macierz kowariancjixxtN(xt,σ2)σ2σ2σ2Σktóre prawdopodobnie będą wymagać różnych wariancji i kowariancji dla każdego wymiaru. Wybór odpowiedniego może być trudny.Σ

2) Jeśli rozkład propozycji wynosi zawsze , to jest to niezależny algorytm Metropolis-Hastings, ponieważ rozkład propozycji nie zależy od bieżącej próbki. Ta metoda działa najlepiej, jeśli rozkład propozycji jest dobrym przybliżeniem rozkładu docelowego, z którego chcesz próbkować. Masz rację, że wybranie dobrego normalnego przybliżenia może być trudne.N(μ,σ2)

Powodzenie żadnej z metod nie powinno zależeć od wartości początkowej próbnika. Bez względu na to, od czego zaczniesz, łańcuch Markowa powinien ostatecznie zbiegać się z rozkładem docelowym. Aby sprawdzić zbieżność, możesz uruchomić kilka łańcuchów z różnych punktów początkowych i wykonać diagnostykę zbieżności, taką jak diagnostyka zbieżności Gelmana-Rubina.

jsk
źródło
Nie jestem pewien, czy stwierdzenie: „2) Jeśli rozkład propozycji ma zawsze wartość , jest to niezależny algorytm Metropolis-Hastings, ponieważ rozkład propozycji nie zależy od bieżącej próbki: ”ma rację, ponieważ nie pobiera próbek z symetrycznych i dlatego byłoby to bardziej poprawnie nazywane algorytmem Metropolis, a nie algorytmem Metropolis-Hasting. Nie jestem całkowicie pewien siebie, więc zadaję to pytanie. N(μ,σ2)N(μ,σ2)
rhody
@rhody. Algorytm Metropolis nie usuwa uwarunkowań w bieżącej lokalizacji. Chodzi o to, aby powoli wędrować po przestrzeni parametrów z symetryczną propozycją z bieżącej lokalizacji. Korzystając z KAŻDEJ symetrycznej propozycji, która zależy od bieżącej lokalizacji i obliczenia prawdopodobieństwa akceptacji Metropolis, ostatecznie zbiegniesz do rozkładu docelowego. W przypadku niezależnego algorytmu Metropolis-Hastings chcemy, aby rozkład propozycji był przybliżeniem rozkładu docelowego, a dla prawdopodobieństwa przyjęcia zastosowano inne obliczenia.
jsk
@rhody. Ponadto prawdą jest, że rozkład normalny jest rozkładem symetrycznym, ale nie jest to typ symetrii, o którym tu mowa. Jeśli q jest rozkładem propozycji, to rozkład propozycji jest symetryczny, jeśli q (Y | X) = q (X | Y). Jeśli , a q jest symetryczna, ponieważ wszystkie i . qN(μ,σ2)q(Y)q(X)XY
jsk
@jsk jest uważany za symetryczny, prawda? xN(x,ε)
user76284