Wskaźniki akceptacji dla Metropolis-Hastings z jednolitym rozkładem kandydatów

Kiedy działa algorytm Metropolis-Hastings z jednolitymi rozkładami kandydatów, jakie jest uzasadnienie posiadania współczynników akceptacji około 20%?

Mam na myśli: po wykryciu prawdziwych (lub zbliżonych do prawdziwych) wartości parametrów, żaden nowy zestaw wartości parametrów kandydujących z tego samego jednolitego przedziału nie zwiększyłby wartości funkcji prawdopodobieństwa. Dlatego im więcej iteracji przeprowadzam, tym niższe powinny być wskaźniki akceptacji.

Gdzie się mylę w tym myśleniu? Wielkie dzięki!

Oto ilustracja moich obliczeń:

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

gdzie jest prawdopodobieństwem dziennika.$l$

Ponieważ kandydaci są zawsze pobierani z tego samego jednolitego przedziału,$\theta$

$$p(\theta_c) = p(\theta^*).$$

Dlatego obliczanie stawki akceptacji zmniejsza się do:

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

Reguła akceptacji jest następująca:$\theta_c$

Jeśli , gdzie jest z równomiernego rozkładu w przedziale , to$U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

w przeciwnym razie narysuj z równomiernego rozkładu w przedziale$\theta_c$$[\theta_{min}, \theta_{max}]$

Uważam, że Słaba zbieżność i optymalne skalowanie algorytmów Metropolis losowego marszu Robertsa, Gelmana i Gilksa jest źródłem optymalnej stopy akceptacji wynoszącej 0,234.

Artykuł pokazuje, że pod pewnymi założeniami można skalować algorytm Metropolis-Hastings losowego spaceru, gdy wymiar przestrzeni zmierza do nieskończoności, aby uzyskać ograniczenie dyfuzji dla każdej współrzędnej. W granicy dyfuzja może być postrzegana jako „najbardziej wydajna”, jeśli współczynnik akceptacji przyjmuje wartość 0,234. Intuicyjnie jest to kompromis między robieniem wielu małych zaakceptowanych kroków a robieniem wielu dużych propozycji, które są odrzucane.

Algorytm Metropolis-Hastings nie jest tak naprawdę algorytmem optymalizacyjnym, w przeciwieństwie do symulowanego wyżarzania. Jest to algorytm, który ma symulować rozkład docelowy, dlatego prawdopodobieństwo akceptacji nie powinno być zwiększane do zera.

Wystarczy dodać do odpowiedzi @NRH. Ogólna idea jest zgodna z zasadą Goldilocks :

• Jeśli skoki są „zbyt duże”, łańcuch się zaciska;
• Jeśli skoki są „zbyt małe”, łańcuch bada przestrzeń parametrów bardzo wolniej;
• Chcemy, aby skoki były w sam raz.

Oczywiście pytanie brzmi: co rozumiemy przez „w sam raz”. Zasadniczo w konkretnym przypadku minimalizują oczekiwaną odległość skoku kwadratowego. Jest to równoważne z minimalizacją autokorelacji lag-1. Ostatnio Sherlock i Roberts wykazali, że magiczna wartość 0.234 obowiązuje dla innych rozkładów docelowych:

C. Sherlock, G. Roberts (2009); Optymalne skalowanie losowego spaceru Metropolis na eliptycznie symetrycznych, jednomodalnych celach ; Bernoulli 15 (3)

Dodaję to jako odpowiedź, ponieważ nie mam wystarczającej reputacji, aby komentować pytanie. Myślę, że jesteś zdezorientowany między stopą akceptacji a współczynnikiem akceptacji .

1. Współczynnik akceptacji służy do podjęcia decyzji o przyjęciu lub odrzuceniu kandydata. Współczynnik, który nazywasz współczynnikiem akceptacji, w rzeczywistości nazywany jest współczynnikiem akceptacji i różni się od współczynnika akceptacji.
2. Wskaźnik akceptacji to wskaźnik przyjmowania kandydatów. Jest to stosunek liczby unikalnych wartości w łańcuchu MCMC do całkowitej liczby wartości w łańcuchu MCMC.

Teraz twoje wątpliwości co do optymalnej stopy akceptacji wynoszącej 20% dotyczą tak naprawdę rzeczywistej stopy akceptacji, a nie współczynnika akceptacji. Odpowiedź jest podana w innych odpowiedziach. Chciałem tylko zwrócić uwagę na zamieszanie.