W statystykach bayesowskich często wspomina się, że rozkład a posteriori jest trudny do rozwiązania, dlatego należy zastosować wnioskowanie przybliżone. Jakie czynniki powodują tę trudność?
Problem polega głównie na tym, że analiza bayesowska obejmuje całki , często wielowymiarowe w realistycznych problemach, i to te całki są zazwyczaj trudne do analizy (z wyjątkiem kilku szczególnych przypadków wymagających użycia sprzężonych priorów).
Z kolei wiele statystyk nie bayesowskich opiera się na maksymalnym prawdopodobieństwie - znalezieniu maksimum funkcji (zwykle wielowymiarowej), która obejmuje znajomość jej pochodnych , tj. Różnicowanie. Mimo to metody numeryczne są stosowane w wielu bardziej skomplikowanych problemach, ale bez nich można dalej sięgać dalej, a metody numeryczne mogą być prostsze (nawet jeśli mniej proste metody mogą działać lepiej w praktyce).
Powiedziałbym więc, że sprowadza się to do tego, że różnicowanie jest łatwiejsze niż integracja.
Miałem okazję zadać Davidowi Blei to pytanie osobiście, a on powiedział mi, że trudność w tym kontekście oznacza jedną z dwóch rzeczy:
Całka nie ma zamkniętego rozwiązania. Może się tak zdarzyć, gdy modelujemy niektóre złożone, rzeczywiste dane i po prostu nie możemy zapisać dystrybucji na papierze.
Całka jest trudna obliczeniowo. Polecił mi usiąść z długopisem i papierem i rzeczywiście opracować marginalne dowody na bayesowską mieszankę Gaussów. Przekonasz się, że jest on trudny obliczeniowo, tzn. Wykładniczy. Daje dobry przykład tego w niedawnym artykule (patrz 2.1 Problem wnioskowania przybliżonego ).
FWIW, uważam ten wybór słów za mylący, ponieważ (1) jest on przeciążony w znaczeniu i (2) jest już szeroko stosowany w CS, aby odnosić się tylko do obliczeniowej trudności.
W rzeczywistości istnieje szereg możliwości:
Ludzie zwykle mają na myśli coś w rodzaju (2), gdy mówią o (analitycznie) niestabilnym odcinku bocznym i coś w rodzaju (3), gdy mówią o nietraktalnym prawdopodobieństwie. Jest to trzeci przypadek, gdy przybliżone obliczenie bayesowskie jest jedną z opcji, podczas gdy w drugim przypadku metody MCMC są zwykle wykonalne (które możesz argumentować, są w pewnym sensie przybliżone). Nie jestem do końca pewien, do którego z tych cytatów odnosi się podany przez ciebie cytat.
Traktowalność związana jest z zamkniętą formalnością wyrażenia .
Mówi się, że problemy są możliwe do rozwiązania, jeśli można je rozwiązać za pomocą wyrażenia w formie zamkniętej.
W matematyce wyrażenie w formie zamkniętej jest wyrażeniem matematycznym, które można ocenić za pomocą skończonej liczby operacji. Może zawierać stałe, zmienne, pewne „dobrze znane” operacje (np. + - × ÷) i funkcje (np. N-ty pierwiastek, wykładnik, logarytm, funkcje trygonometryczne i odwrotne funkcje hiperboliczne), ale zazwyczaj nie ma ograniczenia. Zestaw operacji i funkcji dopuszczonych w wyrażeniu zamkniętym może się różnić w zależności od autora i kontekstu.
Tak więc trudność oznacza, że istnieje pewien rodzaj granicy / nieskończoności (jak nieskończone sumowanie w całkach), której nie można oszacować w skończonej liczbie operacji, a zatem należy zastosować techniki aproksymacji (jak MCMC).
Artykuł w Wikipedii wskazuje na tezę Cobhama, która próbuje sformalizować tę „liczbę operacji”, a tym samym wykonalność.