„Fully Bayesian” vs „Bayesian”

Poznałem statystyki bayesowskie i często czytałem artykuły

„przyjmujemy podejście bayesowskie”

lub coś podobnego. Rzadko też zauważyłem:

„przyjmujemy podejście w pełni bayesowskie”

(mój nacisk). Czy istnieje jakaś różnica między tymi podejściami w sensie praktycznym lub teoretycznym? FWIW, używam pakietu MCMCglmmw R w przypadku, gdy jest to istotne.

Terminologia „podejście całkowicie bayesowskie” jest niczym innym, jak wskazaniem, że w zależności od kontekstu przechodzi się od „częściowo” bayesowskiego podejścia do „prawdziwego” podejścia bayesowskiego. Lub odróżnić podejście „pseudo-bayesowskie” od podejścia „ściśle” bayesowskiego.

Na przykład jeden z autorów pisze: „W przeciwieństwie do większości innych zainteresowanych autorów, którzy zwykle stosowali podejście RVM do analizy empirycznej Bayesa, przyjmujemy podejście w pełni bayesowskie”, ponieważ podejście empiryczne Bayesa jest podejściem „pseudob Bayesowskim”. Istnieją inne podejścia pseudob Bayesowskie, takie jak rozkład predykcyjny częstości bayesowskiej (rozkład, którego kwantyle pasują do granic interwałów częstości predykcyjnych).

Na tej stronie przedstawiono kilka pakietów R do wnioskowania bayesowskiego. MCMCglmm jest przedstawiany jako „podejście całkowicie bayesowskie”, ponieważ użytkownik musi wybrać wcześniejszą dystrybucję, w przeciwieństwie do innych pakietów.

Innym możliwym znaczeniem „w pełni bayesowskim” jest to, że wykonuje się wnioskowanie bayesowskie wywodzące się z ram Bayesowskiej teorii teorii decyzji, to znaczy wywodzi się z funkcji straty, ponieważ teoria decyzji bayesowskiej jest solidnym fundamentem dla wnioskowania bayesowskiego.

Myślę, że terminologia służy do rozróżnienia między podejściem bayesowskim a empirycznym podejściem bayesowskim. Full Bayes stosuje określoną wcześniej, podczas gdy empiryczna Bayes pozwala na oszacowanie wcześniejszej za pomocą danych.

„Bayesian” naprawdę oznacza „przybliżony Bayesian”.

„W pełni bayesowski” oznacza również „przybliżony bayesowski”, ale z mniejszym przybliżeniem.

Edycja : Wyjaśnienie.

Użyłbym słowa „w pełni bayesowska”, co oznacza, że ​​wszelkie niuansowe parametry zostały zmarginalizowane na podstawie analizy, a nie zoptymalizowane (np. Oszacowania MAP). Na przykład model procesu Gaussa, z hiperparametrami dostrojonymi w celu maksymalizacji marginalnego prawdopodobieństwa, byłby bayesowski, ale tylko częściowo, natomiast jeśli hiper-parametry definiujące funkcję kowariancji zostałyby zintegrowane przy użyciu hiper-wcześniejszego, byłoby to w pełni bayesowskie .

Jako praktyczny przykład:

Robię trochę modelowania bayesowskiego za pomocą splajnów. Częstym problemem z splajnami jest wybór węzłów. Jedną z popularnych możliwości jest użycie schematu Reversible Jump Markov Chain Monte Carlo (RJMCMC), w którym proponuje się dodawanie, usuwanie lub przenoszenie węzła podczas każdej iteracji. Współczynniki splajnów są oszacowaniami najmniejszego kwadratu.

Darmowe splajny węzłów

Moim zdaniem powoduje to, że jest to tylko „częściowo bayesowski”, ponieważ dla podejścia „w pełni bayesowskiego” należałoby umieścić priorytety na tych współczynnikach (i nowe współczynniki proponowane podczas każdej iteracji), ale wtedy szacunki najmniejszych kwadratów nie działają dla RJMCMC schemat, a sprawy stają się znacznie trudniejsze.

Dodałbym charakterystykę, o której dotychczas nie wspomniano. Podejście w pełni bayesowskie „w pełni” propaguje niepewność we wszystkich nieznanych ilościach poprzez twierdzenie Bayesa. Z drugiej strony podejścia Pseudo-Bayesa, takie jak empiryczne Bayesa, nie propagują wszystkich niepewności. Na przykład, podczas szacowania tylnych wielkości predykcyjnych, w pełni bayesowskie podejście wykorzystałoby gęstość tylną nieznanych parametrów modelu, aby uzyskać rozkład predykcyjny parametru docelowego. Podejście EB nie uwzględniałoby niepewności we wszystkich niewiadomych - na przykład niektóre hiperparametry mogą mieć określone wartości, tym samym nie doceniając ogólnej niepewności.