Dlaczego potrzebujemy wykresu śledzenia dla wyników MCMC

12

Czytam artykuły badawcze przy użyciu metod MCMC i widzę, że większość z nich zawiera wykresy śladowe. Dlaczego potrzebujemy wykresów śladowych w łańcuchu Monte Carlo Markov? Co wskazuje wykres śledzenia parametrów?

Benzamina
źródło

Odpowiedzi:

17

Tworzysz wykresy śledzenia parametrów, aby upewnić się, że rozkład a priori jest dobrze skalibrowany, co jest wskazywane przez parametry mające wystarczające zmiany stanu podczas działania algorytmu MCMC.

Skrajnym przykładem jest to, że ustawiłeś wariancję rozkładu a priori na 0. Wtedy oszacowanie parametru tylnego nigdy się nie zmieni. Twój algorytm powiedziałby, że masz najlepsze oszacowanie parametru, ale nie sprawdził wystarczającej liczby parametrów, aby ustalić, czy to naprawdę najlepsze dopasowanie. Jeśli ustawisz zbyt dużą wariancję dystrybucji a priori, pojawi się podobny problem. Wynika to z faktu, że nowy parametr jest mniej związany z Twoimi danymi - więc prawdopodobieństwo dziennika obliczone przy użyciu nowego parametru nie będzie prawdopodobnie lepsze niż prawdopodobieństwo dziennika przy użyciu starego parametru. (Przykładem jest, jeśli twój „prawdziwy” parametr wynosi 0,5, a twoja początkowa ocena wynosi 2, ale wybierasz spośród normalnego rozkładu ze średnią 2 i wariancją 10 000, to jest mało prawdopodobne, aby uzyskać parametr, który jest bliższy 1 .

Musisz wybrać a priori wariancję, która pozwoli na zmianę stanów parametrów na tyle, aby nie utknąć na lokalnych minimach i maksimach w rozkładzie prawdopodobieństwa logicznego, ale na tyle dobrze, aby uzyskać rozsądne oszacowania parametrów. Większość literatury sugeruje, że parametry zmieniają się w 40–60% przypadków.

Innym powodem wykresów śledzenia jest wypalenie. Zwykle okres wypalania jest oczywisty na wykresie (na przykład, jeśli prawdziwy parametr to 1,5, a twoja początkowa ocena to 4, powinieneś zobaczyć, jak szacunki parametrów szybko się zmieniają z 4 na 1,5 a następnie „podskakują” około 1,5). Zazwyczaj po prostu wykluczasz pierwsze n iteracje, w których n jest wystarczająco duże, aby mieć pewność, że usunąłeś wypalanie (powiedzmy 1000), ale jeśli obliczenia są czasochłonne lub jeśli oszacowanie parametrów trwa znacznie dłużej niż twoje n pozwala wtedy pominąć mniej lub więcej obserwacji w celu uwzględnienia wypalenia. Możesz sprawdzić swoje wykresy, aby zobaczyć, gdzie kończy się wypalenie w okresie, aby upewnić się, że wypalenie nie wpływa na twoje wyniki.

Zauważ, że mówiłem w kontekście oszacowań punktowych parametrów. Jeśli szacujesz wariancję parametru, to jeszcze ważniejsze jest zapewnienie odpowiednich zmian stanu.

Eric
źródło
5
+1 Ale z drugiej strony nie ufamy całkowicie formalnej diagnostyce konwergencji i chcemy coś zerknąć, zanim stwierdzimy, że jest zbieżna. Czy jest to całkowicie racjonalne, to kolejne pytanie ...
sprzężony przed
1
Przepraszam, że wykopałem ten stary post. Ale czy wcześniejsza wartość (wygenerowana z wcześniejszego rozkładu) nie powinna być nieistotna, o ile istnieje wystarczająca liczba iteracji?
mscnvrsy,
@mscnvrsy: możesz umieścić nieinformacyjnego przeora, np. przeora Jeffry'ego lub munduru, jeśli chcesz przekazać mniej informacji przeorowi
Benzamin
3
Całkowicie nie zgadzam się z poglądem, że wykresy śledzenia MCMC są w jakikolwiek sposób związane z kalibracją wcześniejszej dystrybucji. Algorytm MCMC ma na celu dany rozkład boczny, bez względu na wybór z góry, i w odpowiednich warunkach tworzy łańcuch Markowa, który zbiega się z tym rozkładem stacjonarnym. Patrzenie na wykresy śladowe jest przydatne tylko w ocenie zbieżności lub jej braku w łańcuchu Markowa.
Xi'an,