Dobre samouczki Gibbs i samouczki

29

Chcę się dowiedzieć, jak działa Gibbs Sampling i szukam dobrego papieru podstawowego do średnio zaawansowanego. Mam wykształcenie informatyczne i podstawową wiedzę statystyczną.

Czy ktoś czytał wokół dobry materiał? gdzie się tego nauczyłeś?

Dzięki

fabrizioM
źródło
2
przeglądanie „Próbkowanie Gibbsa” nie jest złym sposobem na uzyskanie szeregu poglądów na ten temat. Myślę, że to dobry sposób na rozpoczęcie, ponieważ masz do niego skłonność „sceptycznie nastawioną” - nie możesz przyjmować słowa Google za coś oczywistego, więc musisz znaleźć szereg poglądów. Oczywiście, możesz potrzebować renomowanego źródła na późniejszym etapie, kiedy będziesz próbował wdrożyć. Ale rozpoczęcie od „renomowanego źródła” nie zawsze jest najlepszym pomysłem, ponieważ mogą oni być bardzo przywiązani do określonego sposobu robienia czegoś - tj. Znają „właściwą drogę” i „wszyscy inni są w błędzie lub nieskuteczni”.
probabilityislogic
3
(+1) Pytania, na które Google udziela łatwych odpowiedzi, zwykle nie są mile widziane, ale ta IMO próbuje wykorzystać zbiorową mądrość społeczności w sposób, którego nie może zrobić ranking Google. Byłoby interesujące zobaczyć, co źródła ludzie naprawdę znaleźć przydatne do nauki tego materiału.
whuber
4
To jest problem. Google zwraca zbyt wiele wyników i nie wszystkie dokumenty lub samouczki są wystarczająco jasne.
fabrizioM

Odpowiedzi:

19

Zacząłbym od:

Casella, George; George, Edward I. (1992). „ Objaśnienie samplera Gibbs ”. The American Statistician 46 (3): 167–174. ( DARMOWY PDF )

Streszczenie : Algorytmy intensywnie korzystające z komputera, takie jak sampler Gibbs, stały się coraz bardziej popularnymi narzędziami statystycznymi, zarówno w pracy stosowanej, jak i teoretycznej. Jednak właściwości takich algorytmów mogą czasami nie być oczywiste. Poniżej podajemy proste wyjaśnienie, w jaki sposób i dlaczego działa sampler Gibbs. Analitycznie ustalamy jego właściwości w prostym przypadku i zapewniamy wgląd w bardziej skomplikowane przypadki. Istnieje również wiele przykładów.

American Statistician jest często dobrym źródłem krótkich (wstępnych) artykułów wprowadzających, które nie zakładają żadnej wcześniejszej wiedzy na ten temat, choć zakładają, że masz podstawy w prawdopodobieństwie i statystykach, których można zasadnie oczekiwać od członka amerykańskiego Stowarzyszenie statystyczne .

jeden przystanek
źródło
12

Jednym z artykułów online, który naprawdę pomógł mi zrozumieć próbkowanie Gibbsa, jest estymacja parametrów do analizy tekstu autorstwa Gregora Heinricha. Nie jest to ogólny samouczek Gibbs dotyczący próbkowania, ale omawia się go w kategoriach ukrytego przydziału dirichleta, dość popularnego modelu bayesowskiego do modelowania dokumentów. Wchodzi w matematykę w szczegółach.

Jeszcze bardziej wyczerpującym szczegółem matematycznym jest Próbkowanie Gibbsa dla niewtajemniczonych . I mam na myśli wyczerpujący, ponieważ zakłada, że ​​znasz rachunek różniczkowy, a następnie określa każdy krok od tego momentu. Chociaż jest dużo matematyki, żadna z nich nie jest zaawansowana.

Zakładam, że przydadzą ci się bardziej niż coś, co pozwala uzyskać bardziej zaawansowane wyniki, takie jak te, które dowodzą, dlaczego próbkowanie Gibbs jest zbieżne z prawidłowym rozkładem. Odniesienia, które wskazuję, nie dowodzą tego.

JasonMond
źródło
2

Książka Monte Carlo Strategies in Scientific Computing jest doskonałym źródłem. Zajmuje się sprawami w matematycznie rygorystyczny sposób, ale możesz łatwo pominąć matematyczne sekcje, które Cię nie interesują, i nadal uzyskać mnóstwo praktycznych porad. Szczególnie dobrze łączy wiązanie próbek Metropolis-Hastings i Gibbs, co ma kluczowe znaczenie. W większości aplikacji konieczne jest rysowanie z tylnej dystrybucji przy użyciu próbkowania Gibbsa, dlatego pomocna jest wiedza o tym, jak pasuje ona do logiki Metropolis.

ely
źródło