hierarchiczne modele bayesowskie a empiryczne bayesowskie

12

Czy uważasz, że HBM vs EB to dwie alternatywy, w których hiperparametry są „w grze” próbkowania / szacowania / itp.? Istnieje wyraźny związek między tymi dwoma.

Czy uważasz, że HBM jest bardziej „w pełni bayesowski” niż EB? Czy jest miejsce, w którym mogę zobaczyć, jakie są różnice między byciem „w pełni bayesowskim” a innymi alternatywami?

Dzięki.

bayesian empirical-bayes singelton
źródło
1
Aby zapoznać się z dyskusją na temat tego, co oznaczają „w pełni bayesowski” i „empiryczny bayes”, zobacz odpowiedzi w „„ W pełni bayesowski ”vs.„ bayesowski ”” .
dzięki Procrastinator. Jeśli to możliwe, nadal chciałbym usłyszeć odpowiedź na temat związku z hierarchicznymi modelami bayesowskimi.
singelton,
1
Można to znaleźć we wpisie w Wikipedii Metoda empirycznych Bayesa : „empiryczne Bayesa można postrzegać jako przybliżenie pełnego bayesowskiego traktowania modelu hierarchicznego, w którym parametry na najwyższym poziomie hierarchii są ustawione na najbardziej prawdopodobne wartości, zamiast być zintegrowanym ”.

Odpowiedzi:

10

Powiedziałbym, że HBM z pewnością jest „bardziej bayesowski” niż EB, ponieważ marginalizacja jest bardziej bayesowskim podejściem niż optymalizacją. Zasadniczo wydaje mi się, że EB ignoruje niepewność hiperparametrów, podczas gdy HBM próbuje uwzględnić ją w analizie. Podejrzewam, że HMB jest dobrym pomysłem tam, gdzie jest mało danych, a zatem znaczna niepewność co do hiper-parametrów, które należy uwzględnić. Z drugiej strony w przypadku dużych zestawów danych EB staje się bardziej atrakcyjny, ponieważ jest ogólnie mniej kosztowny obliczeniowo, a ilość danych często oznacza, że ​​wyniki są znacznie mniej wrażliwe na ustawienia hiperparametrów.

Pracowałem nad klasyfikatorami procesów Gaussa i dość często optymalizując hiperparametry w celu maksymalizacji marginalnego prawdopodobieństwa, skutkuję nadmiernym dopasowaniem ML, a zatem znacznym pogorszeniem wydajności uogólnienia. Podejrzewam, że w takich przypadkach pełne leczenie HBM byłoby bardziej niezawodne, ale także znacznie droższe.

Dikran Torbacz
źródło
6
+1 dla EB ignoruje niepewność hiperparametrów . Również fundamentaliści z Bayesu uważają EB za anty-bayesowski, ponieważ wykorzystywanie danych do szacowania z góry jest bluźniercze .
4
Najwyraźniej więc nie jestem Bayesianinem fundie! Wydaje mi się, że HBM jest właściwą rzeczą, pod warunkiem, że jest to wykonalne obliczeniowo, pod koniec dnia musisz być do pewnego stopnia pragmatyczny (po zakupie największego dostępnego komputera; o).
Dikran Marsupial