Chcę się dowiedzieć, jak działa Gibbs Sampling i szukam dobrego papieru podstawowego do średnio zaawansowanego. Mam wykształcenie informatyczne i podstawową wiedzę statystyczną.
Czy ktoś czytał wokół dobry materiał? gdzie się tego nauczyłeś?
Dzięki
references
gibbs
fabrizioM
źródło
źródło
Odpowiedzi:
Zacząłbym od:
Casella, George; George, Edward I. (1992). „ Objaśnienie samplera Gibbs ”. The American Statistician 46 (3): 167–174. ( DARMOWY PDF )
American Statistician jest często dobrym źródłem krótkich (wstępnych) artykułów wprowadzających, które nie zakładają żadnej wcześniejszej wiedzy na ten temat, choć zakładają, że masz podstawy w prawdopodobieństwie i statystykach, których można zasadnie oczekiwać od członka amerykańskiego Stowarzyszenie statystyczne .
źródło
Jednym z artykułów online, który naprawdę pomógł mi zrozumieć próbkowanie Gibbsa, jest estymacja parametrów do analizy tekstu autorstwa Gregora Heinricha. Nie jest to ogólny samouczek Gibbs dotyczący próbkowania, ale omawia się go w kategoriach ukrytego przydziału dirichleta, dość popularnego modelu bayesowskiego do modelowania dokumentów. Wchodzi w matematykę w szczegółach.
Jeszcze bardziej wyczerpującym szczegółem matematycznym jest Próbkowanie Gibbsa dla niewtajemniczonych . I mam na myśli wyczerpujący, ponieważ zakłada, że znasz rachunek różniczkowy, a następnie określa każdy krok od tego momentu. Chociaż jest dużo matematyki, żadna z nich nie jest zaawansowana.
Zakładam, że przydadzą ci się bardziej niż coś, co pozwala uzyskać bardziej zaawansowane wyniki, takie jak te, które dowodzą, dlaczego próbkowanie Gibbs jest zbieżne z prawidłowym rozkładem. Odniesienia, które wskazuję, nie dowodzą tego.
źródło
Książka Monte Carlo Strategies in Scientific Computing jest doskonałym źródłem. Zajmuje się sprawami w matematycznie rygorystyczny sposób, ale możesz łatwo pominąć matematyczne sekcje, które Cię nie interesują, i nadal uzyskać mnóstwo praktycznych porad. Szczególnie dobrze łączy wiązanie próbek Metropolis-Hastings i Gibbs, co ma kluczowe znaczenie. W większości aplikacji konieczne jest rysowanie z tylnej dystrybucji przy użyciu próbkowania Gibbsa, dlatego pomocna jest wiedza o tym, jak pasuje ona do logiki Metropolis.
źródło