Wydaje mi się, że mam ogólne pojęcie zarówno o VI, jak i MCMC, w tym o różnych smakach MCMC, takich jak próbkowanie Gibbs, Metropolis Hastings itp. Ten artykuł stanowi wspaniałą prezentację obu metod.
Mam następujące pytania:
Rozumiem, że jest to dość szerokie pytanie, ale wszelkie spostrzeżenia byłyby bardzo mile widziane.
Aby uzyskać długą odpowiedź, zobacz Blei, Kucukelbir i McAuliffe tutaj . Ta krótka odpowiedź bardzo się z tego wywodzi.
Oznacza to, że kiedy mamy czas obliczeniowy na zabicie i docenienie precyzji naszych szacunków, MCMC wygrywa. Jeśli możemy tolerować poświęcanie tego ze względów praktycznych - lub pracujemy z danymi tak dużymi, że musimy dokonać kompromisu - VI jest naturalnym wyborem.
Lub, jak to wymownie i dokładniej opisali wyżej wspomniani autorzy:
Zatem wnioskowanie wariacyjne jest odpowiednie dla dużych zbiorów danych i scenariuszy, w których chcemy szybko zbadać wiele modeli; MCMC nadaje się do mniejszych zestawów danych i scenariuszy, w których z przyjemnością ponosimy wyższe koszty obliczeniowe za bardziej precyzyjne próbki. Na przykład, możemy użyć MCMC w otoczeniu, w którym spędziliśmy 20 lat, zbierając mały, ale drogi zestaw danych, w którym jesteśmy pewni, że nasz model jest odpowiedni i gdzie potrzebujemy precyzyjnych wniosków. Możemy zastosować wnioskowanie wariacyjne, dopasowując probabilistyczny model tekstu do miliarda dokumentów tekstowych i gdy wnioski będą wykorzystywane do dostarczania wyników wyszukiwania dużej populacji użytkowników. W tym scenariuszu możemy zastosować obliczenia rozproszone i optymalizację stochastyczną do skalowania i przyspieszenia wnioskowania, a także możemy łatwo badać wiele różnych modeli danych.