Specjalny typ algorytmu Markov Chain Monte Carlo (MCMC) używany do symulacji na podstawie złożonych rozkładów prawdopodobieństwa. Został potwierdzony przez teorię łańcuchów Markowa i oferuje szeroki zakres możliwych implementacji.
Próbowałem nauczyć się metod MCMC i natknąłem się na próbkowanie Metropolis Hastings, Gibbs, Ważność i Odrzucenie. Chociaż niektóre z tych różnic są oczywiste, tj. Jak Gibbs jest szczególnym przypadkiem Metropolis Hastings, gdy mamy pełne warunki warunkowe, inne są mniej oczywiste, na przykład gdy...
Kiedy koduję symulację Monte Carlo dla jakiegoś problemu, a model jest dość prosty, używam bardzo prostego podręcznika Gibbs. Kiedy nie jest możliwe użycie próbkowania Gibbsa, koduję podręcznik Metropolis-Hastings, którego nauczyłem się wiele lat temu. Zastanawiam się nad wyborem rozkładu skoków...
Istnieją różne rodzaje algorytmów MCMC: Metropolis-Hastings Gibbs Próbkowanie pod kątem ważności / odrzucenia (powiązane). Dlaczego warto korzystać z próbkowania Gibbs zamiast Metropolis-Hastings? Podejrzewam, że zdarzają się przypadki, w których wnioskowanie jest łatwiejsze w przypadku...
Czytam o adaptacyjnej MCMC (patrz np. Rozdział 4 Podręcznika Markov Chain Monte Carlo , red. Brooks i in., 2011; a także Andrieu i Thoms, 2008 ). Głównym rezultatem Robertsa i Rosenthala (2007) jest to, że jeśli schemat adaptacji spełnia znikający warunek adaptacji (plus pewna inna technika),...
Czytałem dziś blog Christiana Roberta i całkiem podobał mi się nowy algorytm Metropolis-Hastings, o którym rozmawiał. Wydawało się proste i łatwe do wdrożenia. Ilekroć koduję MCMC, mam tendencję do trzymania się bardzo podstawowych algorytmów MH, takich jak niezależne ruchy lub losowe spacery na...
Właśnie czytałem trochę na temat próbkowania Gibbsa i algorytmu Metropolis Hastings i mam kilka pytań. Jak rozumiem, w przypadku próbkowania Gibbsa, jeśli mamy duży problem wielowymiarowy, próbkujemy z rozkładu warunkowego, tj. Próbkujemy jedną zmienną, utrzymując wszystkie pozostałe w stałym,...
Przeglądałem dokumentację Stana, którą można pobrać stąd . Byłem szczególnie zainteresowany ich wdrożeniem diagnostyki Gelmana-Rubina. Oryginalny artykuł Gelman i Rubin (1992) definiuje potencjalny współczynnik redukcji skali (PSRF) w następujący sposób: Niech Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots...
Załóżmy, że mam funkcję , którą chcę zintegrować Oczywiście przy założeniu, że osiąga zero w punktach końcowych, brak wybuchów, fajna funkcja. Jednym ze sposobów, w jakie się bawiłem, jest użycie algorytmu Metropolis-Hastings do wygenerowania listy próbek z rozkładu proporcjonalnego do , w którym...
W ciągu ostatnich kilku tygodni starałem się zrozumieć MCMC i algorytm (y) Metropolis-Hastings. Za każdym razem, gdy myślę, że to rozumiem, zdaję sobie sprawę, że się mylę. Większość przykładów kodu, które znajduję w Internecie, implementuje coś, co nie jest zgodne z opisem. tj.: Mówią, że wdrażają...
Losowy spacer Metropolis-Hasitings z symetryczną propozycją q(x|y)=g(|y−x|)q(x|y)=g(|y−x|)q(x|y)= g(|y-x|) ma tę właściwość, że prawdopodobieństwo przyjęcia P(accept y)=min{1,f(y)/f(x)}P(accept y)=min{1,f(y)/f(x)}P(accept\ y) = \min\{1, f(y)/f(x)\} nie zależy od propozycji...
Próbowałem zrozumieć algorytm Metropolis-Hastings, aby napisać kod do oszacowania parametrów modelu (tj. ). Według bibliografii algorytm Metropolis-Hastings ma następujące kroki:f(x)=a∗xf(x)=a∗xf(x)=a*x WygenerujYt∼q(y|xt)Yt∼q(y|xt)Y_t \sim q(y|x^t) Xt+1={Yt,xt,with probabilityρ(xt,Yt),with...
Muszę wykonać symulację, aby ocenić całkę funkcji 3-parametrowej, mówimy , która ma bardzo skomplikowaną formułę. Poproszono o użycie metody MCMC w celu jej obliczenia i zaimplementowania algorytmu Metropolis-Hastings w celu wygenerowania wartości rozłożonych jako , i zasugerowano użycie 3 różnych...
W ciągu ostatnich kilku dni starałem się zrozumieć, jak działa Markov Chain Monte Carlo (MCMC). W szczególności starałem się zrozumieć i wdrożyć algorytm Metropolis-Hastings. Do tej pory myślę, że mam ogólne zrozumienie algorytmu, ale jest kilka rzeczy, które nie są dla mnie jeszcze jasne. Chcę...
mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2)...
Natknąłem się na ten artykuł, w którym napisano, że w próbkowaniu Gibbsa każda próbka jest akceptowana. Jestem trochę zmieszany. Jak to możliwe, że jeśli każda zaakceptowana próbka zbiega się w rozkład stacjonarny. Ogólnie algorytm metropolii akceptujemy jako min (1, p (x *) / p (x)), gdzie x *...
Natknąłem się na następujący problem z symulacją: biorąc pod uwagę zestaw {ω1, ... ,ωre}{ω1,…,ωd}\{\omega_1,\ldots,\omega_d\} znanych liczb rzeczywistych, rozkład na { - 1 , 1}re{−1,1}d\{-1,1\}^d jest zdefiniowany przez P (X= (x1, ... ,xre) ) ∝ (x1ω1+ …
Próbowałem symulować z dwuwymiarowej gęstości p ( x , y)p(x,y)p(x,y)używając algorytmów Metropolis w R i nie miał szczęścia. Gęstość można wyrazić jako p ( y| x)p(x)p(y|x)p(x)p(y|x)p(x), gdzie p ( x )p(x)p(x) jest dystrybucją Singh-Maddala p ( x ) =qxa - 1bza( 1 + (xb)za)1 +...