Ciągle czytam o potrzebie sprawdzenia autokorelacji w MCMC. Dlaczego ważne jest, aby autokorelacja była niska? Co mierzy w kontekście MCMC?
sampling
autocorrelation
mcmc
Amelio Vazquez-Reina
źródło
źródło
Odpowiedzi:
Autokorelacja jest miarą tego, jak bardzo wartość sygnału koreluje z innymi wartościami tego sygnału w różnych punktach czasowych. W kontekście MCMC autokorelacja jest miarą tego, jak niezależne są różne próbki od twojego rozkładu tylnego - niższa autokorelacja wskazująca na bardziej niezależne wyniki.
Gdy masz wysoką autokorelację, narysowane próbki nie przedstawiają dokładnie rozkładu tylnego i dlatego nie dostarczają istotnych informacji dla rozwiązania problemu. Innymi słowy, niższa autokorelacja oznacza wyższą wydajność w łańcuchach i lepsze oszacowania. Ogólna zasada jest taka, że im niższa jest twoja autokorelacja, tym mniej próbek potrzebujesz, aby metoda była skuteczna (ale może to być nadmierne uproszczenie).
źródło
Po pierwsze i, co oczywiste, jeśli autokorelacja jest wysoka, wówczas N próbek nie podaje N informacji o twojej dystrybucji, ale jest ich mniej. Efektywny rozmiar próbki (ESS) to jedna miara tego, ile naprawdę otrzymujesz informacji (i jest funkcją parametru autokorelacji).
W związku z tym autokorelacja daje niereprezentatywne próbki „w krótkim okresie”. Co więcej, im więcej jest autokorelacji, tym dłuższy jest „krótki okres”. W przypadku bardzo silnej autokorelacji krótki okres może stanowić dobrą część wszystkich próbek. Zwykle bezpośrednimi środkami zaradczymi są ponowna parametryzacja lub parametry próbkowania, które powinny być ze sobą powiązane w blokach, a nie osobno, ponieważ w przeciwnym razie wygenerują autokorelację w łańcuchu. Ludzie często też są „szczupli”, chociaż toczy się dyskusja na temat tego, jak przydatne jest to w rozwiązaniu podstawowego problemu, np . Tutaj . Kass 1997 to nieformalna dyskusja na ten temat, chociaż prawdopodobnie jest coś nowszego, co inni mogą polecić.
Krótko mówiąc, silnie autokorelowany łańcuch zajmuje więcej czasu od przejścia od warunków początkowych do pożądanego rozkładu docelowego, przy czym jest mniej informacyjny i zajmuje więcej czasu, aby zbadać ten rozkład, gdy się tam pojawi.
źródło