Kiedy stosować technikę bootstrap kontra technika bayesowska?

Mam dość skomplikowany problem analizy decyzji obejmujący testy niezawodności, a logiczne podejście (dla mnie) wydaje się obejmować wykorzystanie MCMC do obsługi analizy bayesowskiej. Zasugerowano jednak, że bardziej odpowiednie byłoby zastosowanie metody ładowania początkowego. Czy ktoś mógłby zasugerować odniesienie (lub trzy), które mogłyby poprzeć zastosowanie jednej z technik w stosunku do drugiej (nawet w określonych sytuacjach)? FWIW, mam dane z wielu różnych źródeł i kilka / zero obserwacji awarii. Mam również dane na poziomie podsystemu i systemu.

Wydaje się, że takie porównanie powinno być dostępne, ale nie miałem szczęścia szukać zwykłych podejrzanych. Z góry dziękuję za wszelkie wskazówki.

bayesian bootstrap Aengus
źródło

Biorąc pod uwagę, że klasyczny bootstrap można traktować jako metodę maksymalnego prawdopodobieństwa zaimplementowaną przez komputer (tj. Technikę nie bayesowską (wcześniejszą płaską)), czy lepiej byłoby przeformułować swoje pytanie na coś w stylu „kiedy używać techniki częstokształtnej vs. bayesowskiej ? Trochę tła na temat bootstrap: stats.stackexchange.com/questions/18469/…

Jewgienij

Hmmm ... chyba się nie zgadzam. Mam nadzieję, że „bootstrap” konkretnie sugeruje charakterystykę przedziału; nieco bardziej skoncentrowany niż tylko „częsty”. Przynajmniej „bootstrap” powstrzyma większość fanatyków religijnych. Dziękuję również za link, ale znałem twój poprzedni komentarz, zanim go opublikowałem.

Aengus

Pozwólcie mi przeformułować, czy macie jakieś przydatne wcześniejsze informacje, czy też problem ma strukturę hierarchiczną (zagnieżdżoną)? Jeśli tak, to technika bayesowska jest prawdopodobnie lepsza (zwłaszcza jeśli liczba parametrów modelu jest duża w stosunku do ilości dostępnych danych, więc oszacowanie skorzystałoby z „kurczenia bayesowskiego”). W przeciwnym razie wystarczy MLE / bootstrap.

Jewgienij

Myślę, że innym możliwym podejściem jest użycie modeli z efektami mieszanymi (np. Przy użyciu pakietu R lme4) do modelowania struktury hierarchicznej, o której wspomniałeś. Pomogłoby to również ustabilizować szacunki dla (hierarchicznych) modeli o dużej liczbie parametrów.

Jewgienij

Analiza bootstrapu może być równie dobrze postrzegana jako analiza bayesowska, więc twoje pytanie może równie dobrze brzmieć: „Kiedy użyć bootstrap kontra inny model bayesowski” (twoje pytanie zachęciło mnie do napisania tej interpretacji bootstrap jako modelu bayesowskiego : sumsar.net/blog/2015/04/… ). Biorąc pod uwagę pytanie, zgadzam się z @Yevgeny, że prawdopodobnie będziemy potrzebować więcej informacji na temat konkretnego problemu, zanim będziemy mogli polecić model.

Rasmus Bååth

Odpowiedzi:

Według mnie opis problemu wskazuje na dwa główne problemy. Pierwszy:

Mam dość skomplikowaną analizę decyzji ...

Zakładając, że masz pod ręką funkcję straty , musisz zdecydować, czy zależy ci na częstym ryzyku, czy na oczekiwanej późniejszej stracie . Bootstrap pozwala na przybliżenie funkcjonałów dystrybucji danych, więc pomoże to w pierwszym; a próbki tylne z MCMC pozwolą ci ocenić to drugie. Ale...

Mam również dane na poziomie podsystemu i systemu

więc dane te mają strukturę hierarchiczną. Podejście bayesowskie bardzo naturalnie modeluje takie dane, podczas gdy bootstrap został pierwotnie zaprojektowany dla danych modelowanych jako iid Chociaż został rozszerzony na dane hierarchiczne (patrz odnośniki we wstępie tego artykułu ), takie podejścia są stosunkowo słabo rozwinięte (zgodnie z abstraktem ten artykuł ).

Podsumowując: jeśli naprawdę chodzi o częste ryzyko, na którym ci zależy, to konieczne mogą być oryginalne badania nad zastosowaniem bootstrapu w teorii decyzji. Jeśli jednak minimalizowanie oczekiwanej straty tylnej jest bardziej naturalne w przypadku problemu decyzyjnego, Bayes jest zdecydowanie właściwą drogą.

Cyjan
źródło

Dzięki, nie natknąłem się na żadne z nich; ten ostatni artykuł wydaje się szczególnie interesujący.

Aengus

Czytałem, że nieparametryczny bootstrap może być postrzegany jako szczególny przypadek modelu bayesowskiego z dyskretnym (bardzo) nieinformacyjnym przełożeniem, w którym zakłada się, że dane są dyskretne, a dziedzina rozkład docelowy jest całkowicie obserwowany w Twojej próbce.

Oto dwa odniesienia:

Steve
źródło