Jakie są praktyczne zastrzeżenia do stosowania bayesowskich metod statystycznych w jakimkolwiek kontekście? Nie, nie mam na myśli zwykłego dbania o wybór przeora. Będę zachwycony, jeśli nie otrzyma odpowiedzi.
Pytanie jest w porządku, ale komentarze dochodzą do linii argumentacji i grożą przeniesieniem się na niewłaściwą stronę tego wiersza. Uważaj ... to nie jest miejsce na taką debatę. Utwórz pokój czatu, jeśli chcesz to zrobić.
whuber
Odpowiedzi:
40
Dam ci odpowiedź. Właściwie cztery wady. Zauważ, że żadne z tych zastrzeżeń nie powinno prowadzić do analizy częstokroć, ale korzystanie z bayesowskich ram ma wiele wad:
Wybór przeora. Jest to zwykły karcenie z jakiegoś powodu, chociaż w moim przypadku nie jest to zwykłe „priory są subiektywne!” ale wymyślenie przeora, który jest dobrze uzasadniony i faktycznie reprezentuje twoją najlepszą próbę podsumowania przeora, jest w wielu przypadkach bardzo pracochłonne. Na przykład cały cel mojej pracy doktorskiej można podsumować jako „oszacowanie priorytetów”.
Jest to intensywne obliczeniowo. Szczególnie w przypadku modeli obejmujących wiele zmiennych. W przypadku dużego zestawu danych z szacowanymi wieloma zmiennymi bardzo dobrze może być on zbyt intensywny obliczeniowo, szczególnie w pewnych okolicznościach, w których danych nie można łatwo wrzucić do klastra lub podobnego. Niektóre sposoby rozwiązania tego problemu, takie jak zwiększone dane zamiast MCMC, są nieco teoretycznie trudne, przynajmniej dla mnie.
Rozkłady późniejsze są nieco trudniejsze do włączenia do metaanalizy, chyba że podano częsty, parametryczny opis rozkładu.
W zależności od tego, dla jakiego czasopisma przeznaczona jest analiza, albo ogólnie użycie Bayesa, albo wybór priorytetów, daje artykułowi nieco więcej punktów, w których recenzent może się w nim zagłębić. Niektóre z nich są uzasadnionymi zastrzeżeniami recenzentów, ale niektóre po prostu wynikają z natury Bayesa i tego, jak dobrze znają ją ludzie w niektórych dziedzinach.
Żadna z tych rzeczy nie powinna cię powstrzymywać. Rzeczywiście, żadna z tych rzeczy mnie nie powstrzymała i mam nadzieję, że wykonanie analizy bayesowskiej pomoże rozwiązać co najmniej numer 4.
# 1, najlepiej byłoby, gdyby była to analiza pierwszego etapu. W sztuce lite recenzja. W naukach ilościowy rzetelny przegląd. Bayesianie nie powinni przepraszać za to. JEŻELI częstotliwości często zbliżają się do danych, jakby to byli Adam i Ewa - w porządku. Pierwszy rozdział mojej doktoratu to metaanaliza (choć często). Tak to powinno byc. # 2 Prawo Moore'a, znalazłem krótką dyskusję opartą na XKCD z lokalną grupą High Performance Computing, która może bardzo pomóc. # 3 Meta Analiza jest do kitu. Byłbym za obowiązkową mega-analizą kroczącą, innymi słowy - podaj swoje dane podczas publikacji.
rosser
7
@rosser Kilka myśli. # 1. Rzeczywiście powinna istnieć jasna recenzja i tak, powinien to być krok pierwszy. Ale właściwa analiza bayesowska, która odpowiednio kontroluje mylenie, wymaga pełnego, ilościowego rzetelnego przeglądu każdej zmiennej do włączenia do modelu. To niemałe zadanie. # 2. W zależności od prawa Moore'a to zły pomysł. Po pierwsze, ostatnie korzyści zostały osiągnięte głównie w systemach wielordzeniowych / GPU. Wymaga do tego napisanego oprogramowania i problemów wynikających z przetwarzania równoległego. Pojedynczy model GLM wykonany za pomocą MCMC może nie być taki. Cont ...
Fomite,
6
@rosser i może być czasem z HPC niekoniecznie jest odpowiedzią. Na przykład pracuję w obszarach, w których umowy o korzystaniu z danych i tym podobne często uniemożliwiają przechowywanie danych na przedmiotach poza wyjątkowo bezpiecznymi systemami. Lokalny klaster ... nie jest to. I w końcu prawo Moore'a jest tak dobre, że budżet na sprzęt jest duży. Jeśli chodzi o # 3 i metaanalizę, raczej się nie zgadzam, ale poza tym pozostaje to problemem aż do momentu, gdy całkowicie otwarty system danych stanie się normą.
Fomite,
OK przesadziłem # 3. Ale jaką różnicę ma twój przeor na KAŻDYM PREZYDENTA w wyniku? srsly? Czy analiza wrażliwości wykazuje ogromne różnice?
rosser
1
@Rosser Prawdopodobnie zależy to od charakteru twojego predyktora oraz jego związku z narażeniem i wynikiem. Ale aby przeprowadzić analizę wrażliwości, ktoś musi mieć wcześniejszy wynik dla wszystkich tych zmiennych. Być może dodam to jako element mojej rozprawy. Uważam również, że łączenie siły Bayesa, ale zakładanie nieinformacyjnych priorytetów na temat zmiennych, w których „nie mogę się martwić, aby się dowiedzieć” jest nieco problematyczne.
Fomite,
16
Z natury jestem Bayesianinem, ale na ogół jestem częstym praktykiem. Powodem tego jest zwykle to, że prawidłowe wykonanie pełnej analizy bayesowskiej (zamiast np. Rozwiązań MAP) dla rodzajów problemów, którymi jestem zainteresowany, jest trudne i wymaga intensywnych obliczeń. Często potrzebna jest pełna analiza bayesowska, aby naprawdę zobaczyć przewagę tego podejścia nad ekwiwalentami częstych.
Dla mnie kompromis jest zasadniczo wyborem między metodami bayesowskimi, które są koncepcyjnie eleganckie i łatwe do zrozumienia, ale trudne do wdrożenia w praktyce, a metodami częstymi, które są koncepcyjnie niewygodne i subtelne (spróbuj wyjaśnić, jak dokładnie interpretować test hipotez lub dlaczego nie ma 95% prawdopodobieństwa, że prawdziwa wartość leży w 95% przedziale ufności), ale które dobrze nadają się do łatwych do wdrożenia rozwiązań „książki kucharskiej”.
Z czysto praktycznego punktu widzenia nie jestem fanem metod, które wymagają wielu obliczeń (mam na myśli sampler Gibbs i MCMC, często używane w ramach Bayesa, ale dotyczy to również np. Technik bootstrap w analizie częstych). Powodem jest to, że samo debugowanie (testowanie implementacji, sprawdzanie niezawodności w odniesieniu do założeń itp. ) Wymaga szeregu symulacji Monte Carlo, a ty jesteś szybko w obliczu obliczeniowym. Wolę, aby podstawowe techniki analizy były szybkie i deterministyczne, nawet jeśli są jedynie przybliżone.
Jest to oczywiście czysto praktyczny zarzut: przy nieskończonych zasobach obliczeniowych sprzeciw ten zniknąłby. Dotyczy to tylko podzbioru metod bayesowskich. Jest to również bardziej preferencyjne, biorąc pod uwagę mój przepływ pracy.
Do tej pory słyszę 1. Prawo Moore'a, 2. Ciężką pracę +/- cierpliwość i 3. Ignorancję. Muszę powiedzieć, że żadne z nich nie jest przekonujące. Bayes wydaje się takim nadrzędnym paradygmatem. Na przykład ... dlaczego badania GWAS nie były analizowane a-la Bayes. Czy mogliby zapobiec wyrzuceniu 99,999% danych?
rosser
1
I odwrotnie: MCMC może nauczyć kogoś, jak pisać szybszy kod i uczyć się z bólu oczekiwania na zakończenie symulacji. Takie było moje doświadczenie z modelowaniem: jeśli uruchomienie zajmuje dużo czasu, mogę skorzystać z nauki, jak przyspieszyć kod.
Iterator
9
Czasami istnieje proste i naturalne „klasyczne” rozwiązanie problemu, w którym to przypadku wymyślna metoda bayesowska (szczególnie z MCMC) byłaby przesada.
Ponadto w przypadku problemów ze zmiennym typem selekcji rozważenie czegoś w rodzaju karanego prawdopodobieństwa może być łatwiejsze i bardziej jasne; może istnieć przeor na modelach, który daje równoważne podejście bayesowskie, ale sposób, w jaki przeor odpowiada ostatecznemu wynikowi, może być mniej wyraźny niż związek między karą a osiągnięciem.
Wreszcie, metody MCMC często wymagają eksperta zarówno do oceny konwergencji / mieszania, jak i do zrozumienia wyników.
Jestem stosunkowo nowy w stosowaniu metod bayesowskich, ale jedno co mnie denerwuje to to, że podczas gdy rozumiem uzasadnienie priorytetów (tj. Nauka jest kumulatywnym przedsięwzięciem, więc w przypadku większości pytań istnieje pewna ilość wcześniejszych doświadczeń / myślenia, które powinny poinformować o tym interpretacja danych), nie podoba mi się, że podejście bayesowskie zmusza cię do przesunięcia podmiotowości na początek analizy, co uzależnia wynik końcowy. Uważam, że jest to problematyczne z dwóch powodów: 1) niektórzy gorzej zorientowani czytelnicy nie zwracają nawet uwagi na przeory i interpretują wyniki bayesowskie jako nieprzewidziane; 2) o ile surowe dane nie są dostępne, czytelnikom trudno jest przeformułować wyniki w swoich subiektywnych priorytetach. Właśnie dlatego wolę wskaźniki prawdopodobieństwa,
(Sprytni krytycy zauważą, że nawet iloraz prawdopodobieństwa jest „warunkowy” w tym sensie, że zależy od parametryzacji porównywanych modeli; jest to jednak cecha wspólna dla wszystkich metod, częstych, bayesowskich i prawdopodobieństwa)
Odwrotny problem z częstymi statystykami polega na tym, że podmiotowość istnieje, ale w ogóle o tym nie wspomina. (Praktyczny) problem ze współczynnikami prawdopodobieństwa polega na tym, że opierają się one na optymalizacji prawdopodobieństwa, a zatem ignorują fakt, że mogą istnieć inne rozwiązania o prawdopodobieństwie tylko nieznacznie mniejszym. Właśnie tam przydatny jest współczynnik Bayesa. Ale zawsze są to „konie na kursy”.
Dikran Marsupial
6
Teoria decyzji jest podstawową teorią, na której działają statystyki. Problem polega na znalezieniu dobrej (w pewnym sensie) procedury wydawania decyzji na podstawie danych. Jednak rzadko istnieje jednoznaczny wybór procedury w sensie minimalizacji oczekiwanej straty, więc należy wybrać inne kryteria, aby wybrać spośród nich. Wybór procedur Bayesa w odniesieniu do niektórych wcześniejszych jest jednym z tych kryteriów, ale nie zawsze może być to, czego chcesz. Minimax może być w niektórych przypadkach ważniejszy lub bezstronność.
Każdy, kto twierdzi, że częstokroć są w błędzie, Bayesianie lub mylnie, w większości ujawnia swoją niewiedzę dotyczącą statystyk.
Od pewnego czasu chciałem się bardziej uczyć o Bayesowskim podejściu do modelowania, aby pozbyć się mojego pobieżnego zrozumienia (kodowałem samplery Gibbs w pracy dyplomowej, ale nigdy nie zrobiłem nic prawdziwego). Po drodze jednak myślałem, że niektóre z prac Briana Dennisa były prowokujące i żałowałem, że nie mogłem znaleźć przyjaciela z Bayesian (tych, którzy nie byli w szafie), aby przeczytać gazety i usłyszeć ich kontrapunkty. Oto artykuły, o których mówię, ale cytat, który zawsze pamiętam
Bycie Bayesianem oznacza, że nigdy nie musisz mówić, że się mylisz.
Pierwszy artykuł (nie czytałem drugiego) wydaje się bardziej o tym, jak praktykować Bayesa w porównaniu z teorią. W praktyce modele nie są sprawdzane tak rygorystycznie, jak powinny, ale teoretycznie statystyki bayesowskie mają lepsze możliwości sprawdzania modeli, zwane „dowodami” przez Jaynesa, które są zawarte w mianowniku P (model D |) reguły Bayesa. Dzięki niemu można porównać odpowiedniość modeli, co można zrobić tylko empirycznie w statystykach dla osób często korzystających z usług. Problem polega oczywiście na tym, że trudno jest obliczyć dowody, więc większość ludzi je ignoruje i uważa, że tylny jest najważniejszym czynnikiem (ciąg dalszy)
cespinoza
2
pt. 2 Spróbuj googlingu „próbkowanie zagnieżdżonego próbkowania”, a znajdziesz artykuł na temat metody MCMC do obliczania dowodów. (Istnieją również inne metody sprawdzania modeli nieoparte na dowodach: Gelman sprawdza swoje modele, pobierając próbki z późniejszej metody predykcyjnej i porównując to (wizualnie lub inaczej) z rzeczywistymi danymi.) Niektóre osoby sugerują nawet, że modele należy uśrednić, oglądając przestrzeń samych modeli do zmarginalizowania. Inną rzeczą, którą widzimy na horyzoncie, są bayesy nieparametryczne, które rozwiązują ten problem, umożliwiając znacznie szerszy zakres modeli niż tradycyjne modele parametryczne.
cespinoza
5
Sugeruję również obejrzenie videolectures.net/mlss09uk_jordan_bfway przez Michaela I. Jordana, profesora z Berkeley , który jest dość zrównoważony w swoich poglądach na temat domniemanego Bayesa i Freqa. "wojna". Naprawdę nie mogę wypowiedzieć się na temat drugiej połowy pierwszego artykułu b / c Nie znam żadnych odniesień ekologicznych. Przeczytam drugi później.
cespinoza
1
@cespinoza: Myślałem o tym w drodze do pracy. Artykuł mówi, że Bayesian nigdy nie spojrzałby na wartości resztkowe (tj. Porównałby wyniki modelu z rzeczywistymi danymi) i być może zdecydowany Bayesian mógłby zasadniczo tego unikać, ale praktykujący, tacy jak Gelman, z pewnością porównują wyniki modelu (przewidywanie z tyłu) z rzeczywistymi danymi. Nie wiem wystarczająco dużo, aby pójść dalej, ale mam wrażenie, że gazety ustawiły „w zasadzie” słomianych ludzi do ataku.
Wayne
1
Wystarczy dodać, że Bayesianin, który nie sprawdza pozostałości, jest złym statystykiem. Zwykle stosuje się metodę bayesowską z modelem „wstępnym i gotowym” i wcześniejszym. Sprawdzanie resztek jest jednym ze sposobów sprawdzenia, czy masz wystarczającą wiedzę na temat przeora i modelu. Idzie to w parze ze sprawdzaniem, jakie teoretyczne cechy ma twój model i wcześniej
probabilityislogic
5
Jakie są otwarte problemy w statystykach bayesowskich z kwartalnego biuletynu ISBA przedstawiają 5 problemów ze statystykami bayesowskimi różnych liderów w tej dziedzinie, przy czym # 1 nudnie to „Wybór modelu i testowanie hipotez”.
Odpowiedzi:
Dam ci odpowiedź. Właściwie cztery wady. Zauważ, że żadne z tych zastrzeżeń nie powinno prowadzić do analizy częstokroć, ale korzystanie z bayesowskich ram ma wiele wad:
Żadna z tych rzeczy nie powinna cię powstrzymywać. Rzeczywiście, żadna z tych rzeczy mnie nie powstrzymała i mam nadzieję, że wykonanie analizy bayesowskiej pomoże rozwiązać co najmniej numer 4.
źródło
Z natury jestem Bayesianinem, ale na ogół jestem częstym praktykiem. Powodem tego jest zwykle to, że prawidłowe wykonanie pełnej analizy bayesowskiej (zamiast np. Rozwiązań MAP) dla rodzajów problemów, którymi jestem zainteresowany, jest trudne i wymaga intensywnych obliczeń. Często potrzebna jest pełna analiza bayesowska, aby naprawdę zobaczyć przewagę tego podejścia nad ekwiwalentami częstych.
Dla mnie kompromis jest zasadniczo wyborem między metodami bayesowskimi, które są koncepcyjnie eleganckie i łatwe do zrozumienia, ale trudne do wdrożenia w praktyce, a metodami częstymi, które są koncepcyjnie niewygodne i subtelne (spróbuj wyjaśnić, jak dokładnie interpretować test hipotez lub dlaczego nie ma 95% prawdopodobieństwa, że prawdziwa wartość leży w 95% przedziale ufności), ale które dobrze nadają się do łatwych do wdrożenia rozwiązań „książki kucharskiej”.
Konie na kursy.
źródło
Z czysto praktycznego punktu widzenia nie jestem fanem metod, które wymagają wielu obliczeń (mam na myśli sampler Gibbs i MCMC, często używane w ramach Bayesa, ale dotyczy to również np. Technik bootstrap w analizie częstych). Powodem jest to, że samo debugowanie (testowanie implementacji, sprawdzanie niezawodności w odniesieniu do założeń itp. ) Wymaga szeregu symulacji Monte Carlo, a ty jesteś szybko w obliczu obliczeniowym. Wolę, aby podstawowe techniki analizy były szybkie i deterministyczne, nawet jeśli są jedynie przybliżone.
Jest to oczywiście czysto praktyczny zarzut: przy nieskończonych zasobach obliczeniowych sprzeciw ten zniknąłby. Dotyczy to tylko podzbioru metod bayesowskich. Jest to również bardziej preferencyjne, biorąc pod uwagę mój przepływ pracy.
źródło
Czasami istnieje proste i naturalne „klasyczne” rozwiązanie problemu, w którym to przypadku wymyślna metoda bayesowska (szczególnie z MCMC) byłaby przesada.
Ponadto w przypadku problemów ze zmiennym typem selekcji rozważenie czegoś w rodzaju karanego prawdopodobieństwa może być łatwiejsze i bardziej jasne; może istnieć przeor na modelach, który daje równoważne podejście bayesowskie, ale sposób, w jaki przeor odpowiada ostatecznemu wynikowi, może być mniej wyraźny niż związek między karą a osiągnięciem.
Wreszcie, metody MCMC często wymagają eksperta zarówno do oceny konwergencji / mieszania, jak i do zrozumienia wyników.
źródło
Jestem stosunkowo nowy w stosowaniu metod bayesowskich, ale jedno co mnie denerwuje to to, że podczas gdy rozumiem uzasadnienie priorytetów (tj. Nauka jest kumulatywnym przedsięwzięciem, więc w przypadku większości pytań istnieje pewna ilość wcześniejszych doświadczeń / myślenia, które powinny poinformować o tym interpretacja danych), nie podoba mi się, że podejście bayesowskie zmusza cię do przesunięcia podmiotowości na początek analizy, co uzależnia wynik końcowy. Uważam, że jest to problematyczne z dwóch powodów: 1) niektórzy gorzej zorientowani czytelnicy nie zwracają nawet uwagi na przeory i interpretują wyniki bayesowskie jako nieprzewidziane; 2) o ile surowe dane nie są dostępne, czytelnikom trudno jest przeformułować wyniki w swoich subiektywnych priorytetach. Właśnie dlatego wolę wskaźniki prawdopodobieństwa,
(Sprytni krytycy zauważą, że nawet iloraz prawdopodobieństwa jest „warunkowy” w tym sensie, że zależy od parametryzacji porównywanych modeli; jest to jednak cecha wspólna dla wszystkich metod, częstych, bayesowskich i prawdopodobieństwa)
źródło
Teoria decyzji jest podstawową teorią, na której działają statystyki. Problem polega na znalezieniu dobrej (w pewnym sensie) procedury wydawania decyzji na podstawie danych. Jednak rzadko istnieje jednoznaczny wybór procedury w sensie minimalizacji oczekiwanej straty, więc należy wybrać inne kryteria, aby wybrać spośród nich. Wybór procedur Bayesa w odniesieniu do niektórych wcześniejszych jest jednym z tych kryteriów, ale nie zawsze może być to, czego chcesz. Minimax może być w niektórych przypadkach ważniejszy lub bezstronność.
Każdy, kto twierdzi, że częstokroć są w błędzie, Bayesianie lub mylnie, w większości ujawnia swoją niewiedzę dotyczącą statystyk.
źródło
Od pewnego czasu chciałem się bardziej uczyć o Bayesowskim podejściu do modelowania, aby pozbyć się mojego pobieżnego zrozumienia (kodowałem samplery Gibbs w pracy dyplomowej, ale nigdy nie zrobiłem nic prawdziwego). Po drodze jednak myślałem, że niektóre z prac Briana Dennisa były prowokujące i żałowałem, że nie mogłem znaleźć przyjaciela z Bayesian (tych, którzy nie byli w szafie), aby przeczytać gazety i usłyszeć ich kontrapunkty. Oto artykuły, o których mówię, ale cytat, który zawsze pamiętam
http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf
źródło
Jakie są otwarte problemy w statystykach bayesowskich z kwartalnego biuletynu ISBA przedstawiają 5 problemów ze statystykami bayesowskimi różnych liderów w tej dziedzinie, przy czym # 1 nudnie to „Wybór modelu i testowanie hipotez”.
źródło