Aby mój (bardzo skromny) zrozumieć wnioskowanie wariacyjne, próbuje się przybliżyć przybliżenie nieznanego rozkładu , znajdując rozkład który optymalizuje:
Ilekroć inwestuję czas w zrozumienie wnioskowania wariacyjnego, ciągle uderzam w tę formułę i nie mogę się powstrzymać, ale czuję, że nie rozumiem tego. Wydaje się, że muszę znać , aby obliczyć . Ale cała rzecz była nie wiedziałem tego rozkładu .
Właśnie ten punkt mnie wkurza za każdym razem, gdy próbuję przeczytać coś wariacyjnego. czego mi brakuje?
EDYCJA :
Dodam tutaj kilka dodatkowych komentarzy w wyniku odpowiedzi @wij, postaram się być bardziej precyzyjny.
W przypadkach, które mnie interesują, rzeczywiście wydaje się całkowicie uzasadnione, aby wziąć pod uwagę, co następuje:
W tym przypadku mogłem wiedzieć, jak powinno wyglądać proporcjonalnie, ponieważ dokonałem wyboru modelu dla i . Czy miałbym wtedy rację mówiąc, że muszę wybrać rozkład rodziny [powiedzmy gaussa], tak że teraz mogę oszacować . Wydaje się, że w tym przypadku próbuję dopasować gaussa, który jest zbliżony do nienormalizowanego . Czy to jest poprawne?p ( D | θ ) p ( θ ) q K L ( p ( θ | D ) | | q ) p ( D | θ ) p ( θ )
Jeśli tak, wydaje mi się, że zakładam, że mój tył jest rozkładem normalnym i po prostu staram się znaleźć prawdopodobne wartości tego rozkładu w odniesieniu do rozbieżności .
źródło