W metodach MCMC wciąż czytam o burn-inczasie lub liczbie próbek "burn". Co to dokładnie jest i dlaczego jest potrzebne?
Aktualizacja:
Czy po stabilizacji MCMC pozostaje stabilny? W jaki sposób pojęcie burn-inczasu jest powiązane z czasem mieszania?
Odpowiedzi:
Chodzi o to, że „zły” punkt początkowy może nadmiernie próbkować regiony, które w rzeczywistości mają bardzo małe prawdopodobieństwo w rozkładzie równowagi, zanim osiądzie w rozkładzie równowagi. Jeśli wyrzucisz te punkty, punkty, które powinny być mało prawdopodobne, będą odpowiednio rzadkie.
Ta strona daje dobry przykład, ale wskazuje również, że wypalanie jest bardziej hack / artformem niż techniką opartą na zasadach. Teoretycznie możesz po prostu próbować przez naprawdę długi czas lub znaleźć sposób, aby wybrać porządny punkt początkowy.
Edycja: Czas mieszania odnosi się do tego, ile czasu zajmuje łańcuchowi osiągnięcie stanu ustalonego, ale często trudno jest go obliczyć bezpośrednio. Jeśli znasz czas mieszania, po prostu odrzucisz tyle próbek, ale w wielu przypadkach nie. Dlatego wybierasz czas wygrzewania, który, jak mam nadzieję, jest wystarczająco duży.
Jeśli chodzi o stabilność - to zależy. Jeśli twój łańcuch się zjednoczył, to ... to zbiegło się. Istnieją jednak sytuacje, w których łańcuch wydaje się zbiegać, ale w rzeczywistości „spotyka się” w jednej części przestrzeni stanu. Na przykład wyobraź sobie, że istnieje kilka trybów, ale każdy tryb jest słabo połączony z innymi. Sampler może minąć bardzo długo, zanim przejdzie przez tę szczelinę i będzie wyglądał, jakby łańcuch był zbiegły w prawo, dopóki nie wykona tego skoku.
Istnieje diagnostyka konwergencji, ale wielu z nich ma trudności z odróżnieniem prawdziwej konwergencji i pseudo-konwergencji. Rozdział Charlesa Geyera (# 1) w Podręczniku Markov Chain Monte Carlo jest dość pesymistyczny w stosunku do wszystkiego, ale kierowanie łańcuchem tak długo, jak to możliwe.
źródło
Algorytm Metropolis-Hastings losowo pobiera próbki z rozkładu tylnego. Zazwyczaj początkowe próbki nie są całkowicie ważne, ponieważ łańcuch Markowa nie ustabilizował się do rozkładu stacjonarnego. Wypalanie w próbkach pozwala odrzucić te próbki początkowe, które jeszcze nie są stacjonarne.
źródło