Lista sytuacji, w których podejście bayesowskie jest prostsze, bardziej praktyczne lub wygodniejsze

Odbyło się wiele debat w statystykach między Bayesianami a częstymi. Generalnie uważam, że są one raczej odrażające (choć myślę, że to umarło). Z drugiej strony spotkałem kilka osób, które przyjmują całkowicie pragmatyczne spojrzenie na ten problem, mówiąc, że czasem wygodniej jest przeprowadzić analizę częstokroć, a czasem łatwiej przeprowadzić analizę bayesowską. Uważam tę perspektywę za praktyczną i odświeżającą.

Przyszło mi do głowy, że dobrze byłoby mieć listę takich przypadków. Ponieważ jest zbyt wiele analiz statystycznych i ponieważ zakładam, że zazwyczaj bardziej praktyczne jest przeprowadzanie analizy częstokroć (kodowanie testu t w WinBUGS jest znacznie bardziej zaangażowane niż pojedyncze wywołanie funkcji wymagane do wykonania wersji opartej na częstokroć w R , na przykład), byłoby miło mieć listę sytuacji, w których podejście bayesowskie jest prostsze, bardziej praktyczne i / lub wygodniejsze niż podejście częste.

(Dwie odpowiedzi, które mnie nie interesują, to: „zawsze” i „nigdy”. Rozumiem, że ludzie mają mocne opinie, ale proszę, nie zamieszczaj ich tutaj. Jeśli ten wątek stanie się miejscem drobnych sprzeczek, prawdopodobnie usunę Moim celem tutaj jest opracowanie zasobu, który będzie użyteczny dla analityka z zadaniem do wykonania, a nie siekiery do szlifowania.)

Ludzie mogą sugerować więcej niż jeden przypadek, ale prosimy o skorzystanie z osobnych odpowiedzi, aby każda sytuacja mogła być oceniona (głosowana / omawiana) indywidualnie. W odpowiedziach należy wymienić: (1) jaki jest charakter sytuacji oraz (2) dlaczego podejście bayesowskie jest w tym przypadku prostsze. Idealny byłby jakiś kod (powiedzmy w WinBUGS) pokazujący, w jaki sposób zostanie przeprowadzona analiza i dlaczego wersja bayesowska jest bardziej praktyczna, ale spodziewam się, że będzie zbyt skomplikowana. Jeśli można to zrobić łatwo, byłbym wdzięczny, ale proszę podać dlaczego .

Wreszcie uznaję, że nie zdefiniowałem, co to znaczy, że jedno podejście jest „prostsze” niż inne. Prawda jest taka, że ​​nie jestem do końca pewien, co to znaczy, że jedno podejście jest bardziej praktyczne niż drugie. Jestem otwarty na różne sugestie, po prostu podaj swoją interpretację, gdy wyjaśnisz, dlaczego analiza bayesowska jest wygodniejsza w omawianej sytuacji.

(1) W kontekstach, w których funkcja prawdopodobieństwa jest trudna (przynajmniej liczbowo), zastosowanie podejścia bayesowskiego, za pomocą przybliżonego obliczenia bayesowskiego (ABC), zyskało uznanie w stosunku do niektórych konkurentów, którzy są częstokroć, takich jak złożone prawdopodobieństwa ( 1 , 2 ) lub prawdopodobieństwo empiryczne, ponieważ jest łatwiejsze do wdrożenia (niekoniecznie prawidłowe). Z tego powodu użycie ABC stało się popularne w obszarach, w których często spotyka się trudne możliwości, takie jak biologia , genetyka i ekologia . Możemy tu wymienić ocean przykładów.

Oto niektóre przykłady niewiarygodnych prawdopodobieństw

• Nałożone procesy. Cox i Smith (1954) zaproponowali model w kontekście neurofizjologii, który składa się z nakładanych procesów punktowych. Rozważmy na przykład czasy pomiędzy impulsami elektrycznymi obserwowanymi w pewnej części mózgu, które były emitowane przez kilka neuronów w pewnym okresie. Ta próbka zawiera niepostrzeżone obserwacje, które utrudniają skonstruowanie odpowiedniego prawdopodobieństwa, co komplikuje oszacowanie odpowiednich parametrów. W tym artykule zaproponowano (częściowe) rozwiązanie dla osób często podróżujących . Wdrożenie podejścia ABC zostało również niedawno zbadane i można je znaleźć tutaj .$N$

• Genetyka populacji jest kolejnym przykładem modeli prowadzących do niemożliwych do oszacowania prawdopodobieństw. W tym przypadku trudność ma inny charakter: prawdopodobieństwo wyraża się w postaci wielowymiarowej całki (czasem o wymiarze ), której ocena zajęłaby kilka dziesięcioleci w jednym punkcie. Obszar ten jest prawdopodobnie siedzibą główną ABC.$1000+$

Wraz z poprawą oprogramowania Bayesian kwestia „łatwiejszej aplikacji” staje się dyskusyjna. Oprogramowanie Bayesian jest pakowane w coraz prostsze formy. Niedawnym przykładem jest artykuł zatytułowany, szacunek Bayesa zastępuje test t . Następująca strona internetowa zawiera linki do artykułu i oprogramowania: http://www.indiana.edu/~kruschke/BEST/

Fragment wstępu do artykułu:

... niektórzy ludzie mają wrażenie, że wnioski z metod NHST i Bayesian zgadzają się w prostych sytuacjach, takich jak porównanie dwóch grup: „Tak więc, jeśli twoje podstawowe pytanie może być wyrażone w formie, którą można przetestować, powiedz , naprawdę nie trzeba próbować stosować pełnej machiny bayesowskiej do tak prostego problemu ”(Brooks, 2003, s. 2694). Ten artykuł pokazuje wręcz przeciwnie, że estymacja parametru bayesowskiego dostarcza znacznie bogatszych informacji niż test t NHST i że jego wnioski mogą różnić się od wniosków z testu t NHST. Decyzje oparte na estymacji parametrów bayesowskich są bardziej uzasadnione niż decyzje oparte na NHST, niezależnie od tego, czy decyzje wynikające z tych dwóch metod są zgodne, czy nie.

(2) Modele wytrzymałości na stres. Zastosowanie modeli wytrzymałości na stres jest popularne pod względem niezawodności. Podstawowa idea polega na oszacowaniu parametru gdzie i są zmiennymi losowymi. Co ciekawe, obliczenie prawdopodobieństwa profilu tego parametru jest ogólnie dość trudne (nawet liczbowe), z wyjątkiem niektórych przykładów zabawek, takich jak przypadek wykładniczy lub normalny. Z tego powodu należy rozważyć rozwiązania częste ad hoc, takie jak prawdopodobieństwo empiryczne ( patrz$\theta=P(X<Y)$$X$$Y$) lub przedziały ufności, których budowa również jest trudna w ogólnych ramach. Z drugiej strony zastosowanie podejścia bayesowskiego jest bardzo proste, biorąc pod uwagę, że jeśli masz próbkę rozkładu tylnego parametrów rozkładów i , możesz łatwo przekształcić je w próbkę tylnej .$X$$Y$$\theta$

Niech będzie zmienną losową z gęstością i rozkładem podanymi odpowiednio przez i . Podobnie, niech będzie zmienną losową z gęstością i rozkładem podanymi odpowiednio przez i . Następnie$X$$f(x;\xi_1)$$F(x;\xi_1)$$Y$$g(y;\xi_2)$$G(y;\xi_2)$

Zauważ, że ten parametr jest funkcją parametrów . W przypadkach wykładniczych i normalnych można to wyrazić w formie zamkniętej ( patrz ), ale ogólnie tak nie jest (patrz przykład w tym dokumencie ). To komplikuje obliczenie prawdopodobieństwa profilu aw konsekwencji klasyczne wnioskowanie o interwałach dla tego parametru. Główny problem można podsumować następująco: „Parametr będący przedmiotem zainteresowania jest nieznaną / skomplikowaną funkcją parametrów modelu i dlatego nie możemy znaleźć ponownej parametryzacji obejmującej parametr będący przedmiotem zainteresowania”.$(\xi_1,\xi_2)$$\theta$

Z perspektywy bayesowskiej nie jest to problem, biorąc pod uwagę, że jeśli mamy próbkę z rozkładu tylnego , możemy po prostu wprowadzić te próbki do w celu uzyskania próbki tylnej of i podaj wnioskowanie interwałowe dla tego parametru.( ⋆ ) $(\xi_1,\xi_2)$$(\star)$$\theta$

Jestem wyszkolony w statystyce częstokroć (właściwie ekonometria), ale nigdy nie miałem konfrontacyjnego stanowiska wobec podejścia bayesowskiego, ponieważ moim zdaniem filozoficzne źródło tej „epickiej” bitwy było zasadniczo błędne od samego początku (wyemitowałem moje poglądy tutaj ). W rzeczywistości planuję również trenować się w podejściu bayesowskim w najbliższej przyszłości.

Dlaczego? Ponieważ jeden z aspektów częstych statystyk, który najbardziej mnie fascynuje jako matematyczne i konceptualne przedsięwzięcie, jednocześnie najbardziej mnie niepokoi: asymptotyki wielkości próby. Przynajmniej w ekonometrii prawie niepoważny artykuł dzisiaj twierdzi, że dowolny z różnych estymatorów zwykle stosowanych w ekonometrii częstokroć posiada dowolne pożądane właściwości „małej próby”, których chcielibyśmy od estymatora. Wszystkie polegają na właściwościach asymptotycznych, aby uzasadnić ich użycie. Większość zastosowanych testów ma pożądane właściwości tylko asymptotycznie ... Ale nie jesteśmy już w „z-land / t-land”: cały wyrafinowany (i ogromny) aparat współczesnego szacowania i wnioskowania częstokroć jest również wysoce idiosynkratyczny - co oznacza, że czasami, laaaaaaaaaa ... aaaarge próbka jest rzeczywiście potrzebna, aby te cenne właściwości asymptotyczne pojawiły się i wpłynęły korzystnie na oszacowania pochodzące z estymatorów, co zostało udowodnione w różnych symulacjach. Oznacza to dziesiątki tysięcy obserwacji - które chociaż stają się dostępne dla niektórych dziedzin działalności gospodarczej (takich jak rynek pracy lub rynki finansowe), istnieją inne (jak makroekonomia), w których nigdy się nie dokonają (przynajmniej w ciągu mojego życia). Jestem tym bardzo zaniepokojony, ponieważ naprawdę renderuje uzyskane wynikiniepewny (nie tylko stochastyczny).

Ekonometria bayesowska dla małych próbek nie opiera się na wynikach asymptotycznych. „Ale polegają na subiektywnym przeorze !” jest zwykłą odpowiedzią ... na którą moja prosta, praktyczna odpowiedź brzmi następująco: „jeśli zjawisko jest stare i badane wcześniej, wcześniejsze można oszacować na podstawie danych z przeszłości. Jeśli zjawisko jest nowe , to co jeszcze, jeśli nie subiektywnymi argumentami, czy możemy rozpocząć dyskusję na ten temat ?

To spóźniona odpowiedź, ale mam nadzieję, że coś doda. Zostałem przeszkolony w dziedzinie telekomunikacji, w której przez większość czasu stosujemy podejście bayesowskie.

Oto prosty przykład: Załóżmy, że możesz przesłać cztery możliwe sygnały o napięciu +5, +2,5, -2,5 i -5 woltów. Jeden z sygnałów z tego zestawu jest transmitowany, ale sygnał jest uszkodzony przez szum Gaussa, zanim osiągnie koniec odbiorczy. W praktyce sygnał jest również tłumiony, ale upuszczamy ten problem dla uproszczenia. Pytanie brzmi: jeśli jesteś na końcu odbiorczym, jak zaprojektujesz detektor, który powie ci, który z tych sygnałów był pierwotnie transmitowany?

Problem ten oczywiście dotyczy dziedziny testowania hipotez. Jednak nie można użyć wartości p, ponieważ testy istotności mogą potencjalnie odrzucić wszystkie cztery możliwe hipotezy i wiesz, że jeden z tych sygnałów został faktycznie przesłany. Możemy zasadniczo zastosować metodę Neymana-Pearsona do zaprojektowania detektora, ale ta metoda działa najlepiej w przypadku hipotez binarnych. W przypadku wielu hipotez staje się zbyt niezdarny, gdy trzeba poradzić sobie z ograniczeniami liczbowymi dotyczącymi prawdopodobieństwa fałszywych alarmów. Prostą alternatywą jest testowanie hipotezy Bayesa. Każdy z tych sygnałów mógł zostać wybrany do transmisji, więc przeor jest możliwy do uzyskania. W takich możliwych do zastosowania przypadkach metoda sprowadza się do wyboru sygnału z maksymalnym prawdopodobieństwem. Metodę tę można interpretować geometrycznie: wybierz sygnał, który jest najbliżej odbieranego sygnału. Prowadzi to również do podziału przestrzeni decyzyjnej na kilka obszarów decyzyjnych, tak że jeśli odebrany sygnał miałby należeć do określonego regionu, wówczas ustalono, że hipoteza związana z tym regionem decyzyjnym jest prawdziwa. Dzięki temu konstrukcja detektora jest łatwa.

Tak zwane „testy częstościowe” są zazwyczaj równoważne z bardziej złożonym podejściem bayesowskim przy pewnych założeniach. Gdy te założenia będą miały zastosowanie, wówczas każde z tych podejść da ten sam wynik, więc można bezpiecznie zastosować łatwiejszy do zastosowania test częstotliwości. Podejście bayesowskie jest ogólnie bezpieczniejsze, ponieważ pozwala jasno sformułować założenia, ale jeśli wiesz, co robisz, test często jest tak samo dobry jak podejście bayesowskie i zazwyczaj łatwiej go zastosować.

(Spróbuję tego, co uważam za najbardziej typową odpowiedź).

Załóżmy, że masz sytuację, w której istnieje kilka zmiennych i jedna odpowiedź, i wiesz sporo o tym, jak jedna ze zmiennych powinna być powiązana z odpowiedzią, ale nie tak bardzo o innych.

W takiej sytuacji, gdyby przeprowadzić standardową analizę regresji wielokrotnej, ta wcześniejsza wiedza nie byłaby brana pod uwagę. Następnie można przeprowadzić metaanalizę, która może być ciekawa w rzuceniu światła na to, czy bieżący wynik jest zgodny z innymi ustaleniami i może pozwolić na nieco bardziej precyzyjne oszacowanie (poprzez włączenie wcześniejszej wiedzy w tym momencie). Ale to podejście nie pozwoliłoby, aby to, co wiadomo o tej zmiennej, wpłynęło na oszacowania innych zmiennych.

Inną opcją jest to, że możliwe byłoby kodowanie i optymalizacja własnej funkcji, która naprawia związek z daną zmienną i znajduje wartości parametrów dla innych zmiennych, które maksymalizują prawdopodobieństwo danych, biorąc pod uwagę to ograniczenie. Problem polega na tym, że chociaż pierwsza opcja nie ogranicza w wystarczającym stopniu oceny beta, to podejście to ją ogranicza.

Może być możliwe ustalenie algorytmu, który poprawiłby sytuację w odpowiedni sposób, takie sytuacje wydają się być idealnymi kandydatami do analizy bayesowskiej. Każdy, kto nie jest dogmatycznie przeciwny podejściu bayesowskiemu, powinien chętnie wypróbować go w takich przypadkach.

Dziedziną badań, w której metody bayesowskie są wyjątkowo proste, a metody częsteści są niezwykle trudne do zastosowania, to projektowanie optymalne .

W prostej wersji problemu chciałbyś jak najskuteczniej oszacować pojedynczy współczynnik regresji regresji logistycznej. Możesz pobrać jedną próbkę z równą cokolwiek byś chciał, zaktualizować swoje oszacowanie dla a następnie wybrać następne itd., Aż oszacujesz dla spełnia pewien poziom dokładności. β x ( 2 )$x^{(1)}$$\beta$$x^{(2)}$$\beta$

Trudne jest to, że prawdziwa wartość będzie decydować o tym, jaki jest optymalny wybór . Możesz rozważyć użycie bieżącej prognozy z ze zrozumieniem, że ignorujesz błąd w . Jako taki, możesz uzyskać być może tylko nieznacznie nieoptymalny wybór przy rozsądnym oszacowaniu .x ( I ) β β β x ( I )$\beta$$x^{(i)}$$\hat \beta$$\beta$$\hat \beta$$x^{(i)}$$\beta$

Ale co kiedy zaczniesz? Trzeba nie częstościowym oszacowanie , ponieważ masz żadnych danych . Musisz zebrać trochę danych (zdecydowanie w bardzo nieoptymalny sposób), bez mnóstwa teorii przewodnich, które podpowiedzą ci, co wybrać. Nawet po kilku typach efekt Haucka-Donnera może nadal uniemożliwiać zdefiniowanie oszacowania . Jeśli czytasz w literaturze Frequentist o tym, jak sobie z tym poradzić, to w zasadzie „losowo wybieraj , aż pojawi się wartość taka, że ​​są 0 i 1 powyżej i poniżej tego punktu” (co oznacza Haucka-Donnera efekt nie wystąpi).β x $\beta$$\beta$$x$$x$

Z perspektywy bayesowskiej problem ten jest bardzo łatwy.

1. Rozpocznij swoje wcześniejsze przekonanie o .$\beta$
2. Znajdź który będzie miał maksymalny wpływ na rozkład tylny$x$
3. Próbkuj używając wartości wybranej z (2) i zaktualizuj swój tył$x$
4. Powtarzaj kroki 2 i 3, aż zostanie osiągnięta pożądana dokładność

Literatura Frequentist będzie pochylać się do tyłu, aby spróbować znaleźć rozsądne wartości dla których, miejmy nadzieję, możesz pobrać próbki i uniknąć efektu Haucka-Donnera, abyś mógł zacząć pobierać nieoptymalne próbki ... podczas gdy metoda bayesowska jest wszystko bardzo łatwe i uwzględnia niepewność parametru będącego przedmiotem zainteresowania.$x$

Być może jednym z najprostszych i najczęstszych przypadków, w których podejście bayesowskie jest łatwiejsze, jest kwantyfikacja niepewności parametrów.

W tej odpowiedzi nie odnoszę się do interpretacji przedziałów ufności vs. przedziałów wiarygodnych. W tej chwili załóżmy, że użytkownikowi nie przeszkadza żadna z tych metod.

To powiedziawszy, w ramach bayesowskich jest to proste; jest to marginalna wariancja tylnej części dla każdego indywidualnego parametru będącego przedmiotem zainteresowania. Zakładając, że możesz pobierać próbki od tyłu, po prostu pobierz próbki i oblicz swoje wariancje. Gotowy!

W przypadku Frequentist jest to zwykle tylko proste w niektórych przypadkach i jest to prawdziwy ból, gdy nie jest. Jeśli mamy dużą liczbę próbek w porównaniu z niewielką liczbą parametrów (a kto tak naprawdę wie, jak duży jest wystarczająco duży), możemy użyć teorii MLE do uzyskania CI. Jednak kryteria te nie zawsze obowiązują, szczególnie w przypadku interesujących przypadków (tj. Modeli efektów mieszanych). Czasami możemy użyć ładowania początkowego, ale czasem nie! W przypadkach, w których nie możemy, naprawdę trudno jest oszacować błąd i często wymaga odrobiny sprytu (tj. Wzoru Greenwooda do wyprowadzania SE dla krzywych Kaplana Meiera). „Posługiwanie się sprytem” nie zawsze jest niezawodnym przepisem!