Gdzie się podziała debata częstokrzyści z Bayesa?

Świat statystyki został podzielony między częstochroniarzy i Bayesianów. W dzisiejszych czasach wydaje się, że wszyscy robią trochę obu. Jak to może być? Jeśli różne podejścia są odpowiednie dla różnych problemów, dlaczego ojcowie założyciele statystyk tego nie widzieli? Alternatywnie, czy debatę wygrały Frequentists, a prawdziwi subiektywni Bayesianie przeszli na teorię decyzji?

Właściwie to raczej nie zgadzam się z tym założeniem. Wszyscy są Bayesianami, jeśli naprawdę mają wcześniej przekazany im rozkład prawdopodobieństwa. Problem pojawia się wtedy, gdy tego nie robią, i myślę, że wciąż istnieje spory podział na ten temat.

Powiedziawszy to, zgadzam się, że coraz więcej ludzi jest mniej skłonnych do toczenia świętych wojen i robienia tego, co wydaje się właściwe w danej sytuacji.

Powiedziałbym, że w miarę postępu zawodu obie strony zdały sobie sprawę, że w podejściach drugiej strony są zalety. Bayesianie zdali sobie sprawę, że ocena, jak dobrze by postępowały procedury bayesowskie, gdyby były stosowane wielokrotnie (np. Czy ten 95% wiarygodny przedział (CI) faktycznie zawiera prawdziwy parametr przez około 95% czasu?) Wymagał częstego spojrzenia. Bez tego nie ma kalibracji tego „95%” na żadnej rzeczywistej liczbie. Krzepkość? Budowanie modelu poprzez iteracyjne dopasowanie itp.? Pomysły, które pojawiły się w świecie częstych i które zostały zaadaptowane przez Bayesianów pod koniec lat osiemdziesiątych. Częstokroć zdawali sobie sprawę, że regularyzacja jest dobra i używają jej dość często w dzisiejszych czasach - a priory bayesowskie można łatwo interpretować jako regularyzację. Modelowanie nieparametryczne za pomocą splajnów sześciennych z funkcją kary? Twoja kara jest moim przeorem! Teraz wszyscy możemy się dogadać.

Uważam, że innym ważnym czynnikiem jest oszałamiająca poprawa dostępności wysokiej jakości oprogramowania, która pozwoli szybko przeprowadzić analizę. Składa się on z dwóch części - algorytmów, np. Próbkowania Gibbs i Metropolis-Hastings, oraz samego oprogramowania, R, SAS, ... Mogłabym być bardziej czystym Bayesianem, gdybym musiał napisać cały mój kod w C (po prostu nie miałbym czasu na próbowanie czegokolwiek innego), ale w tej chwili użyję gam w pakiecie mgcv w R za każdym razem, gdy mój model wygląda na to, że mogę go dopasować do tego frameworka bez zbytniego ściskania, i jestem lepszy statystyk. Znajomość metod przeciwnika i zdawanie sobie sprawy z tego, ile wysiłku może zaoszczędzić / lepszej jakości może zapewnić ich użycie w niektórych sytuacjach, nawet jeśli nie mieszczą się one w 100% w domyślnych ramach myślenia o problemie,

To trudne pytanie, na które należy odpowiedzieć. Liczba osób, które naprawdę robią obie rzeczy, jest nadal bardzo ograniczona. Hard core Bayesianie gardzą użytkownikami głównego nurtu statystyk za ich stosowanie wartości , nonsensownej, wewnętrznie niespójnej statystyki dla Bayesians; a statystycy głównego nurtu po prostu nie znają metod bayesowskich wystarczająco dobrze, aby je komentować. W świetle powyższego w literaturze bayesowskiej (od niemalże czystych czasopism poświęconych biologii lub czystej psychologii) spotka się wiele krytyki zerowego testowania znaczenia hipotezy bez odpowiedzi ze strony głównego nurtu.$p$

Istnieją sprzeczne przejawy „kto wygrał debatę” w zawodzie statystyki. Z jednej strony, skład przeciętnego działu statystycznego jest taki, że w większości miejsc znajdziesz 10-15 głównego nurtu kontra 1-2 Bayesianów, chociaż niektóre departamenty są czysto bayesowskie, bez żadnych głównego nurtu, z wyjątkiem prawdopodobnie stanowisk konsultacyjnych (Harvard, Duke, Carnegie Mellon, Kolumbia Brytyjska, Montreal w Ameryce Północnej; mniej znam europejską scenę). Z drugiej strony zobaczysz, że w czasopismach takich jak JASA lub JRSS prawdopodobnie 25-30% artykułów to dokumenty bayesowskie. W pewnym sensie renesans bayesowski może być czymś w rodzaju wybuchu dokumentów ANOVA w latach 50. XX wieku: wtedy ludzie sądzili, że prawie każdy problem statystyczny można sformułować jako problem ANOVA; teraz,

Mam wrażenie, że zastosowane obszary nie przeszkadzają w zrozumieniu filozoficznych szczegółów i po prostu stosują to, z czym łatwiej jest pracować. Metodologia bayesowska jest po prostu zbyt skomplikowana: oprócz statystyk musisz także nauczyć się sztuki obliczeń (konfigurowanie samplera, blokowanie, diagnostyka konwergencji, bla-bla-bla) i być przygotowanym do obrony swoich przeorów (jeśli powinieneś użyć obiektywne priory, lub powinieneś użyć pouczających priors, jeśli pole w zasadzie ustabilizowało się na prędkości światła wynoszącej 3e8 m / s, a nawet czy wybór wcześniejszego wpływa na to, czy twój tył będzie właściwy, czy nie). Dlatego w większości zastosowań medycznych, psychologicznych lub ekonomicznych zobaczysz główne podejście w artykułach napisanych przez badaczy merytorycznych,

Jednym z obszarów, w którym, jak sądzę, ramy Bayesa wciąż brakuje, jest diagnostyka modeli - i jest to ważny obszar dla praktyków. W świecie bayesowskim, aby zdiagnozować model, musisz zbudować bardziej skomplikowany i wybrać, który z nich będzie lepiej dopasowany do współczynnika Bayesa lub BIC. Jeśli więc nie podoba ci się założenie o normalności dla regresji liniowej, możesz zbudować regresję z błędami Studenta i pozwolić, aby dane wygenerowały szacunkowe stopnie swobody, lub możesz stać się fanatyczny i mieć proces Dirichleta dla twojego błędne terminy i wykonaj kilka skoków MH między różnymi modelami. Głównym podejściem byłoby zbudowanie wykresu QQ studenckich resztek i usunięcie wartości odstających, a to znowu jest o wiele prostsze.

I edytowane rozdział w książce na ten temat - patrz http://onlinelibrary.wiley.com/doi/10.1002/9780470583333.ch5/summary . Jest to bardzo archetypowy artykuł, w którym podano około 80 odniesień do tej debaty, wszystkie popierają Bayesowski punkt widzenia. (Poprosiłem autora o rozszerzenie go w poprawionej wersji, która dużo o tym mówi :)). Jim Berger z Duke, jeden z czołowych teoretyków bayesowskich, wygłosił szereg wykładów i napisał wiele bardzo przemyślanych artykułów na ten temat.

Jest dobry powód, aby nadal mieć oba, a mianowicie, że dobry rzemieślnik będzie chciał wybrać najlepsze narzędzie do danego zadania, a metody bayesowskie i częste mają zastosowania, w których są najlepszym narzędziem do pracy.

Często jednak używa się niewłaściwego narzędzia do pracy, ponieważ statystyki częstokrzyskie są bardziej podatne na podejście do „książki kucharskiej statystyk”, która ułatwia ich stosowanie w nauce i inżynierii niż ich odpowiedniki z Bayesu, mimo że metody bayesowskie zapewniają bardziej bezpośrednią odpowiedź na postawione pytanie (co zasadniczo możemy wywnioskować z konkretnej próbki danych, którą faktycznie mamy). Nie popieram tego zbytnio, ponieważ podejście „książki kucharskiej” prowadzi do korzystania ze statystyk bez dogłębnego zrozumienia tego, co faktycznie robisz, i dlatego takie rzeczy, jak błąd wartości p pojawiają się ponownie.

Jednak w miarę upływu czasu narzędzia oprogramowania do podejścia bayesowskiego będą się poprawiać i będą one używane częściej, jak słusznie mówi jbowman.

Z natury jestem Bayesianinem (wydaje mi się to o wiele bardziej sensowne niż podejście częste), jednak w moich pracach używam statystyk częstych, częściowo dlatego, że będę miał problemy z recenzentami, jeśli użyję statystyk bayesowskich, ponieważ będzie „niestandardowy”.

Wreszcie (nieco z przymrużeniem oka; o), aby zacytować Maxa Planka: „Nowa naukowa prawda nie triumfuje, przekonując przeciwników i sprawiając, że widzą światło, ale raczej dlatego, że przeciwnicy w końcu umierają, a nowe pokolenie dorasta, które jest znane z tym."

Nie sądzę, by Częstochowcy i Bayesianie udzielali różnych odpowiedzi na te same pytania. Myślę, że są gotowi odpowiedzieć na różne pytania . Dlatego uważam, że nie ma sensu mówić dużo o wygranej jednej ze stron, ani nawet mówić o kompromisie.

Rozważ wszystkie pytania, które moglibyśmy chcieć zadać. Wiele jest po prostu niemożliwych pytań („Jaka jest prawdziwa wartość ?”). Bardziej przydatne jest rozważenie podzbioru tych pytań, na które można odpowiedzieć przy różnych założeniach. Większy podzbiór to pytania, na które można odpowiedzieć tam, gdzie pozwalasz sobie na korzystanie z priorów. Nazwij ten zestaw BF. Istnieje podzbiór BF, który jest zestawem pytań, które nie zależą od żadnego wcześniejszego. Nazwij ten drugi podzbiór F. F jest podzbiorem BF. Zdefiniuj B = BF \ B.$\theta$

Nie możemy jednak wybrać odpowiedzi na pytania. Aby wyciągnąć użyteczne wnioski na temat świata, czasami musimy odpowiedzieć na pytania w B, co oznacza skorzystanie z uprzedniego.

Idealnie, biorąc pod uwagę estymator, zrobiłbyś dokładną analizę. Możesz użyć przeora, ale byłoby również fajnie, gdybyś mógł udowodnić miłe rzeczy na temat swojego estymatora, które nie zależą od żadnego przejęcia. To nie znaczy, że możesz porzucić przeora, być może naprawdę interesujące pytania wymagają uprzedniego.

Wszyscy zgadzają się, jak odpowiedzieć na pytania w F. Martwisz się, czy naprawdę „interesujące” pytania znajdują się w F czy w B?

Przykład: pacjent wchodzi do lekarza i jest albo zdrowy (H), albo chory (S). Jest test, który przeprowadzamy, który zwraca wynik dodatni (+) lub ujemny (-). Test nigdy nie daje fałszywych negatywów - tj. . Ale czasami daje fałszywie dodatnie -$\mathcal{P}(-|S) = 0$$\mathcal{P}(+|H) = 0.05$

Mamy kawałek karty, a maszyna testująca napisze + lub - po jednej stronie karty. Wyobraź sobie, jeśli chcesz, że mamy wyrocznię, która w jakiś sposób zna prawdę, a ta wyrocznia zapisuje prawdziwy stan, H lub S, po drugiej stronie karty przed włożeniem karty do koperty.

Jako statystycznie wyszkolony lekarz, co możemy powiedzieć o karcie w obwiedni, zanim ją otworzymy? Można złożyć następujące oświadczenia (są w F powyżej):

• Jeśli S po jednej stronie karty, to po drugiej stronie będzie +. $\mathcal{P}(+|S) = 1$
• Jeśli H, to druga strona będzie miała + 5% prawdopodobieństwa, - z 95% prawdopodobieństwa. $\mathcal{P}(-|H) = 0.95$
• (podsumowując ostatnie dwa punkty) Prawdopodobieństwo, że obie strony dopasują się, wynosi co najmniej 95%. $\mathcal{P}( (-,S) \cup (+,H) ) \geq 0.95$

Nie wiemy, co to jest lub . Naprawdę nie możemy odpowiedzieć na to pytanie bez uprzedniej zgody na . Ale możemy wypowiedzieć się na temat sumy tych dwóch prawdopodobieństw.$\mathcal{P}( (-,S) )$$\mathcal{P}( (+,H) )$$\mathcal{P}(S)$

To jest tak daleko, jak możemy posunąć się tak daleko. Przed otwarciem koperty możemy bardzo pozytywnie wypowiedzieć się na temat dokładności testu. Istnieje (co najmniej) 95% prawdopodobieństwo, że wynik testu odpowiada prawdzie.

Ale co się stanie, kiedy faktycznie otworzymy kartę? Biorąc pod uwagę, że wynik testu jest pozytywny (lub negatywny), co możemy powiedzieć o tym, czy jest on zdrowy, czy chory?

Jeśli wynik testu jest pozytywny (+), nie możemy nic powiedzieć. Może są zdrowe, a może nie. W zależności od aktualnego rozpowszechnienia choroby ( ) może być tak, że większość pacjentów, u których wynik testu jest pozytywny, jest zdrowa lub większość chorych jest chora. Nie możemy nałożyć żadnych ograniczeń na to, bez uprzedniego nałożenia pewnych ograniczeń na .$\mathcal{P}(S)$$\mathcal{P}(S)$

W tym prostym przykładzie jasne jest, że każdy z wynikiem ujemnym jest zdrowy. Nie ma fałszywych negatywów, dlatego każdy statystyk z przyjemnością odeśle tego pacjenta do domu. Dlatego nie ma sensu płacić za poradę statystysty, chyba że wynik testu był pozytywny .

Trzy powyższe punkty są prawidłowe i dość proste. Ale są też bezużyteczne! Naprawdę interesujące pytanie, w tym rzeczywiście wymyślonym modelu, brzmi:

i nie można na nie odpowiedzieć bez (tj. a priori lub przynajmniej pewne ograniczenia w stosunku do prior)$\mathcal{P}(S)$

Nie przeczę, że jest to być może uproszczony model, ale pokazuje, że jeśli chcemy wypowiedzieć się na temat zdrowia tych pacjentów, musimy zacząć od wcześniejszego przekonania o ich zdrowiu.

Jak się przekonacie, toczy się dość częsta debata bayesowska. W rzeczywistości uważam, że jest gorętsza niż kiedykolwiek i mniej dogmatyczna. Możesz być zainteresowany moim blogiem: http://errorstatistics.com

Wiele osób (spoza wyspecjalizowanych ekspertów), którzy uważają się za częstych, jest w rzeczywistości Bayesianami. To sprawia, że ​​debata jest nieco bezcelowa. Myślę, że Bayesianizm wygrał, ale wciąż jest wielu Bayesian, którzy uważają się za częstych. Są ludzie, którzy myślą, że nie używają priorów i dlatego uważają, że są częstymi. To niebezpieczna logika. Nie chodzi tu tyle o priory (jednolite czy niejednolite), prawdziwa różnica jest bardziej subtelna.

(Formalnie nie pracuję w dziale statystycznym; moje wykształcenie to matematyka i informatyka. Piszę z powodu trudności, które próbowałem omówić z tą „debatą” z innymi nie-statystykami, a nawet z wczesną karierą statystyki).

MLE jest w rzeczywistości metodą bayesowską. Niektórzy powiedzą: „Jestem częstym, ponieważ używam MLE do oszacowania moich parametrów”. Widziałem to w recenzowanej literaturze. Jest to nonsens i opiera się na tym (niewypowiedzianym, ale dorozumianym) micie, że częstym jest ktoś, kto używa wcześniejszego munduru zamiast niejednolitego wcześniejszego.

Rozważ narysowanie pojedynczej liczby ze rozkładu normalnego ze znaną średnią i nieznaną wariancją. Nazwij tę wariancję .$\mu = 0$$\theta$

$X \equiv N(\mu = 0, \sigma^2 = \theta)$

Teraz rozważ funkcję prawdopodobieństwa. Ta funkcja ma dwa parametry, i i zwraca prawdopodobieństwo, biorąc pod uwagę , .$x$$\theta$$\theta$$x$

$f(x,\theta) = \mathrm{P}_{\sigma^2=\theta} (X=x) = \frac{1}{\sqrt{2\pi \theta}} e^{-\frac{x^2}{2\theta}}$

Możesz sobie wyobrazić wykreślanie tego na mapie cieplnej, z na osi x i na osi y, i używając koloru (lub osi z). Oto fabuła z liniami konturowymi i kolorami.$x$$\theta$

Najpierw kilka uwag. Jeśli ustawisz jedną wartość , możesz wykonać odpowiedni poziomy przekrój przez mapę cieplną. Ten kawałek da ci pdf dla tej wartości . Oczywiście obszar pod krzywą w tym wycinku będzie wynosił 1. Z drugiej strony, jeśli ustawisz jedną wartość , a następnie spojrzysz na odpowiedni wycinek pionowy , to nie ma takiej gwarancji na temat obszaru pod krzywą .$\theta$$\theta$$x$

To rozróżnienie między poziomymi i pionowymi plasterkami jest kluczowe i stwierdziłem, że ta analogia pomogła mi zrozumieć częste podejście do uprzedzeń .

Bayesa jest ktoś, kto mówi

Dla tej wartości x, które wartości dają „wystarczająco wysoką” wartość ?$\theta$$f(x,\theta)$

Alternatywnie, Bayesian może zawierać przeor, , ale wciąż o tym mówią$g(\theta)$

dla tej wartości x, które wartości dają wystarczająco wysoką wartość ?$\theta$$f(x,\theta)g(\theta)$

Tak więc Bayesian naprawia x i patrzy na odpowiedni pionowy wycinek na tym wykresie konturowym (lub na wykresie wariantowym zawierającym poprzednie). W tym wycinku obszar pod krzywą nie musi wynosić 1 (jak powiedziałem wcześniej). Bayesian 95% wiarygodny przedział (CI) to przedział zawierający 95% dostępnego obszaru. Na przykład, jeśli obszar wynosi 2, to obszar pod bayesowskim CI musi wynosić 1,9.

Z drugiej strony częsty zignoruje x i najpierw rozważy naprawienie i zapyta:$\theta$

Z tego , których wartości x pojawią się najczęściej?$\theta$

W tym przykładzie przy jedna odpowiedź na to często zadawane pytanie brzmi: „Dla danego 95% pojawi się między i . ”$\mathcal{N}(\mu=0, \sigma^2 = \theta)$$\theta$$x$$-3\sqrt\theta$$+3\sqrt\theta$

Dlatego częsty jest bardziej zainteresowany poziomymi liniami odpowiadającymi stałym wartościom .$\theta$

To nie jedyny sposób na konstruowanie częstych CI, nie jest to nawet dobry (wąski), ale wytrzymajcie przez chwilę.

Najlepszym sposobem interpretacji słowa „interwał” nie jest interwał na linii 1-d, ale myślenie o nim jako obszarze na powyższej płaszczyźnie 2-d. „Interwał” jest podzbiorem płaszczyzny 2-d, a nie żadnej linii 1-d. Jeśli ktoś zaproponuje taki „przedział”, wówczas musimy sprawdzić, czy „przedział” jest prawidłowy na poziomie ufności / wiarygodności 95%.

Częstochowiec sprawdzi poprawność tego „interwału”, analizując kolejno każdy wycinek poziomy i patrząc na obszar pod krzywą. Jak powiedziałem wcześniej, obszar pod tą krzywą zawsze będzie równy. Zasadniczym wymogiem jest, aby obszar w „przedziale” wynosił co najmniej 0,95.

Bayesian sprawdzi poprawność, patrząc na pionowe plastry. Ponownie obszar pod krzywą zostanie porównany z podobszarem znajdującym się poniżej przedziału. Jeśli ten ostatni stanowi co najmniej 95% tego pierwszego, wówczas „przedział” jest prawidłowym 95% Bayesowskim wiarygodnym przedziałem.

Teraz, gdy wiemy, jak sprawdzić, czy dany przedział jest „prawidłowy”, pytanie brzmi, jak wybrać najlepszą opcję spośród prawidłowych opcji. To może być czarna sztuka, ale generalnie potrzebujesz najwęższej przerwy. Oba podejścia zwykle się tutaj zgadzają - brane są pod uwagę pionowe wycinki, a celem jest, aby przedział był możliwie wąski w każdym wycinku pionowym.

W powyższym przykładzie nie próbowałem zdefiniować najwęższego możliwego przedziału ufności częstokroć. Zobacz w komentarzach @cardinal poniżej przykłady węższych odstępów czasu. Moim celem nie jest znalezienie najlepszych przedziałów, ale podkreślenie różnicy między wycinkami poziomymi i pionowymi przy określaniu ważności. Przedział, który spełnia warunki 95% częstości przedziału ufności zwykle nie spełnia warunków 95% bayesowskiego wiarygodnego przedziału i odwrotnie.

Oba podejścia wymagają wąskich przedziałów, tzn. Rozważając jeden pionowy wycinek, chcemy, aby przedział (1-d) w tym wycinku był możliwie wąski. Różnica polega na tym, w jaki sposób egzekwowane jest 95% - częsty patrzy tylko na proponowane przedziały, w których 95% powierzchni każdego wycinka poziomego znajduje się poniżej przedziału, podczas gdy Bayesian nalega, aby każdy wycinek pionowy był taki, aby 95% jego obszaru było w przedziale czasowym.

Wielu statystystów nie rozumie tego i koncentrują się tylko na pionowych segmentach; to czyni ich Bayesianami, nawet jeśli myślą inaczej.