Kim są Bayesianie?

Gdy interesują się statystyki, dychotomia „Frequentist” vs. „Bayesian” wkrótce staje się powszechna (a kto zresztą nie przeczytał Sygnału i hałasu Nate'a Silvera ?). W rozmowach i kursach wprowadzających punkt widzenia jest przeważnie częsty ( wartości MLE , ), ale zwykle ułamek czasu poświęca się na podziwianie formuły Bayesa i dotyka idei wcześniejszej dystrybucji , zwykle stycznej.$p$

Ton używany do omawiania statystyki bayesowskiej oscyluje między szacunkiem dla jej pojęciowych podstaw, a nutą sceptycyzmu odnośnie do przepaści między wzniosłymi celami, a arbitralnością w wyborze wcześniejszego rozkładu lub ostatecznym zastosowaniem matematyki częstokońskiej.

Zdania takie jak „jeśli jesteś zatwardziałym Bayesianem ...” są obfite.

Pytanie brzmi: kim są dzisiaj Bayesianie? Czy są to wybrane instytucje akademickie, w których wiesz, że jeśli tam pojedziesz, zostaniesz Bayesianinem? Jeśli tak, to czy są one szczególnie poszukiwane? Czy mamy na myśli tylko kilku szanowanych statystyk i matematyków, a jeśli tak, to kim oni są?

Czy oni w ogóle istnieją jako ci „Bayesianie”? Czy chętnie zaakceptowaliby etykietę? Czy zawsze jest to pochlebne wyróżnienie? Czy są matematykami z osobliwymi slajdami na spotkaniach, pozbawionymi jakichkolwiek wartości i przedziałów ufności, łatwo zauważonymi w broszurze?$p$

Jaką niszą jest bycie „Bayesianem”? Czy mamy na myśli mniejszość statystyk?

A może obecny Bayesowski islam jest zrównany z aplikacjami uczenia maszynowego?

... A może nawet bardziej prawdopodobne, czy statystyka bayesowska nie jest tak naprawdę gałęzią statystyki, ale raczej ruchem epistemologicznym , który wykracza poza zakres obliczeń prawdopodobieństwa do filozofii nauki? W związku z tym wszyscy naukowcy byliby duchem bayesowskim ... ale nie byłoby czegoś takiego jak czysty bayesowski statystyka nieprzepuszczalny dla technik częstych (lub sprzeczności).

Odpowiem na twoje pytania:

Pytanie brzmi: kim są dzisiaj Bayesianie?

Każdy, kto wykonuje analizę danych bayesowskich i identyfikuje się jako „bayesowski”. Podobnie jak programista to ktoś, kto programuje i identyfikuje się jako „programista”. Niewielka różnica polega na tym, że z powodów historycznych Bayesian ma konotacje ideologiczne, z powodu często gorącej dyskusji między zwolennikami „częstych” interpretacji prawdopodobieństwa a zwolennikami „bayesowskich” interpretacji prawdopodobieństwa.

Czy są to wybrane instytucje akademickie, gdzie wiesz, że jeśli tam pojedziesz, zostaniesz Bayesianem?

Nie, podobnie jak inne części statystyk, potrzebujesz tylko dobrej książki (i być może dobrego nauczyciela).

Jeśli tak, to czy są one szczególnie poszukiwane?

Analiza danych bayesowskich jest bardzo przydatnym narzędziem podczas modelowania statystycznego, co, jak sądzę, jest dość poszukiwaną umiejętnością (nawet jeśli firmy nie szukają konkretnie „bayesianów”).

Czy mamy na myśli tylko kilku szanowanych statystyk i matematyków, a jeśli tak, to kim oni są?

Istnieje wiele szanowanych statystycy, że wierzę, że nazywają siebie Bayesians , ale to nie są te Bayesians.

Czy oni w ogóle istnieją jako ci „Bayesianie”?

To trochę jak pytanie „Czy ci programiści istnieją”? Jest zabawny artykuł zatytułowany 46656 Odmiany Bayesian i na pewno istnieje „spory argument” wśród „Bayesianów” dotyczący wielu fundamentalnych kwestii. Tak jak programiści mogą kłócić się o zalety różnych technik programowania. (BTW, program wyłącznie dla programistów w Haskell).

Czy chętnie zaakceptowaliby etykietę?

Niektórzy tak robią, inni nie. Kiedy odkryłem analizę danych bayesowskich, pomyślałem, że jest to najlepsze od czasu krojonego chleba (nadal to robię) i cieszyłem się, że nazywam siebie „bayesowskim” (nie tylko po to, by drażnić ludzi z wartością p w moim dziale). Obecnie nie podoba mi się ten termin, myślę, że może on wyobcować ludzi, ponieważ sprawia, że ​​analiza danych bayesowskich brzmi jak jakiś kult, a nie jest to przydatna metoda w zestawie narzędzi statystycznych.

Czy zawsze jest to pochlebne wyróżnienie?

Nie! O ile mi wiadomo, pojęcie „Bayesian” zostało wprowadzone przez słynnego statystycznego Fishera jako określenie uwłaczające. Wcześniej nazywało się to „odwrotnym prawdopodobieństwem” lub po prostu „prawdopodobieństwem”.

Czy są matematykami z osobliwymi slajdami na spotkaniach, pozbawionymi jakichkolwiek wartości p i przedziałów ufności, łatwo zauważonymi w broszurze?

Cóż, w statystykach bayesowskich są konferencje i nie sądzę, by zawierały tak wiele wartości p. To, czy znajdziesz slajdy, będzie zależeć od twojego tła ...

Jaką niszą jest bycie „Bayesianem”? Czy mamy na myśli mniejszość statystyk?

Nadal uważam, że mniejszość statystyk zajmuje się statystykami bayesowskimi, ale sądzę również, że odsetek ten rośnie.

A może obecny Bayesowski islam jest zrównany z aplikacjami uczenia maszynowego?

Nie, ale modele bayesowskie są często używane w uczeniu maszynowym. Oto świetna książka do uczenia maszynowego, która przedstawia uczenie maszynowe z perspektywy bayesowskiej / probibalistycznej: http://www.cs.ubc.ca/~murphyk/MLbook/

Mam nadzieję, że odpowiedziałem na większość pytań :)

Aktualizacja:

[C] czy możesz rozważyć dodanie listy konkretnych technik lub przesłanek, które odróżniają statystyki bayesowskie?

Co odróżnić Bayesa statystyki jest wykorzystanie modeli Bayesa :) Oto moje spin na co Bayesa modelu to :

Model bayesowski to model statystyczny, w którym używasz prawdopodobieństwa do przedstawienia całej niepewności w modelu, zarówno niepewności dotyczącej wyniku, ale także niepewności dotyczącej danych wejściowych (czyli parametrów) do modelu. Całe to twierdzenie poprzedzające / późniejsze / Bayesa wynika z tego, ale moim zdaniem użycie prawdopodobieństwa dla wszystkiego jest tym, co czyni go Bayesowskim (i rzeczywiście lepsze słowo może być po prostu czymś w rodzaju modelu probabilistycznego).

Teraz modele bayesowskie mogą być trudne do dopasowania , a do tego celu stosuje się wiele różnych technik obliczeniowych. Ale te techniki same w sobie nie są bayesowskie . Aby wywołać nazwane niektóre techniki obliczeniowe:

• Markovska sieć Monte Carlo
  • Metropolis-Hastings
  • Próbkowanie Gibbsa
  • Hamiltonian Monte Carlo
• Wariacyjne Bayesa
• Przybliżone obliczenia bayesowskie
• Filtry cząstek
• Przybliżenie Laplace'a
• I tak dalej...

Kto był znanym statystykiem, który wprowadził termin „Bayesian” jako uwłaczający?

To był rzekomo Ronald Fisher. Artykuł Kiedy wnioskowanie bayesowskie stało się „bayesowskie”? podaje historię terminu „bayesowski”.

Bayesianie to ludzie, którzy definiują prawdopodobieństwa jako liczbową reprezentację prawdopodobieństwa niektórych twierdzeń. Częstotliwości to osoby, które definiują prawdopodobieństwa jako reprezentujące częstotliwości długoterminowe. Jeśli jesteś zadowolony z jednej lub drugiej z tych definicji, to jesteś Bayesianinem lub częstym. Jeśli jesteś zadowolony z jednego z nich i zastosujesz najbardziej odpowiednią definicję dla danego zadania, to jesteś statystykiem! ; o) Zasadniczo sprowadza się to do zdefiniowania prawdopodobieństwa i mam nadzieję, że większość pracujących statystów dostrzeże zalety i wady obu podejść.

cień sceptycyzmu odnośnie do przepaści między wzniosłymi celami i arbitralności w wyborze wcześniejszego podziału, lub ostatecznie użycia matematyki częstokroć.

Sceptycyzm idzie również w innym kierunku. Częstotliwość została wynaleziona z wzniosłym celem, jakim jest wyeliminowanie podmiotowości istniejącej myśli o prawdopodobieństwie i statystyce. Jednak subiektywność wciąż istnieje (na przykład przy określaniu odpowiedniego poziomu istotności w testowaniu hipotez), ale po prostu nie jest ona wyraźnie wyrażona lub często po prostu ignorowana .

Andrew Gelman , na przykład profesor statystyki i nauk politycznych na Columbia University, jest wybitnym Bayesianem.

Podejrzewam, że większość stypendystów ISBA prawdopodobnie również uważałaby się za Bayesian.

Zasadniczo następujące tematy badawcze zazwyczaj odzwierciedlają podejście bayesowskie. Jeśli czytasz o nich artykuły, prawdopodobnie autorzy opisaliby się jako „Bayesian”

• Markov-Chain Monte Carlo
• Wariacyjne metody bayesowskie (nazwa podaje tę jedną)
• Filtrowanie cząstek
• Programowanie probabilistyczne

Dzisiaj wszyscy jesteśmy Bayesianami , ale poza tymi dwoma obozami istnieje świat: prawdopodobieństwo algorytmiczne. Nie jestem pewien, jakie jest standardowe odniesienie na ten temat, ale jest taki piękny artykuł Kolmogorova na temat złożoności algorytmicznej: AN Kołmogorow, Trzy podejścia do definicji pojęcia „ilość informacji” , Probl. Peredachi Inf., 1965, tom 1, wydanie 1, 3–11. Jestem pewien, że jest tłumaczenie na angielski.

W tym artykule definiuje ilość informacji na trzy sposoby: kombinatoryczny, probabilistyczny i (nowy) algorytm. Kombinatorialnie mapuje bezpośrednio na częstokształtnego, Probabilist nie odpowiada bezpośrednio Bayesianowi, ale jest z nim kompatybilny.

AKTUALIZACJA: Jeśli interesuje Cię filozofia prawdopodobieństwa, to chciałbym wskazać na bardzo interesującą pracę „ Geneza i dziedzictwo Grundbegriffe Kolmogorova„Glenna Shafera i Vladimira Vovka. Zapomnieliśmy o wszystkim przed Kołmogorowem, a przed jego przełomową pracą wiele się działo. Z drugiej strony niewiele wiemy o jego poglądach filozoficznych. Ogólnie uważa się, że był na przykład częsty. W rzeczywistości mieszkał w Związku Radzieckim w 1930 r., gdzie ryzykowne było zapuszczanie się w filozofię, dosłownie można było wpaść w kłopoty egzystencjalne, co zrobił pewien naukowiec (trafił do więzień GULAG). , był w pewnym sensie zmuszony do niejawnego wskazania, że ​​był częstym. Myślę, że w rzeczywistości nie był on tylko matematykiem, ale był naukowcem i miał złożony pogląd na zastosowanie teorii prawdopodobieństwa do rzeczywistości.

Jest też inny artykuł Vovka na temat algorytmicznego podejścia Kołmogorowa do losowości: wkład Kołmogorowa w podstawy prawdopodobieństwa

Vovk stworzył teoretyczne podejście do prawdopodobieństwa - również bardzo interesujące.

$P(B|E)$$B$$E$$P(E|B)$

AKTUALIZACJA 3:

Chciałem również wskazać na coś w oryginalnej pracy Kołmogorowa, które nie jest powszechnie znane z jakiegoś powodu (lub łatwo zapomniane) przez praktyków. Miał sekcję na temat łączenia teorii z rzeczywistością. W szczególności wyznaczył dwa warunki wykorzystania teorii:

• A. jeśli powtórzysz eksperyment wiele razy, to częstotliwość występowania będzie różnić się tylko nieznacznie od prawdopodobieństwa, praktycznie na pewno
• B. Jeśli prawdopodobieństwo jest bardzo małe, to jeśli przeprowadzisz eksperyment tylko raz, możesz być praktycznie pewien, że zdarzenie nie nastąpi

Istnieją różne interpretacje tych warunków, ale większość ludzi zgodzi się, że nie są to poglądy czysto częstokroć. Kołmogorow oświadczył, że do pewnego stopnia podąża za podejściem von Misesa, ale zdawał się wskazywać, że rzeczy nie są tak proste, jak mogłoby się wydawać. Często myślę o stanie B i nie mogę dojść do trwałego wniosku, za każdym razem, gdy o nim myślę, wygląda to nieco inaczej.

Najbardziej „twardym” Bayesianem, jakiego znam, jest Edwin Jaynes , zmarły w 1998 roku. Spodziewałbym się, że wśród jego uczniów znajdzie się „hard core” Bayesianów, zwłaszcza pośmiertnego współautora jego głównej pracy. Teoria prawdopodobieństwa: Logika nauki , Larry Bretthorst. Do innych godnych uwagi historycznych Bayesian należą Harold Jeffreys i Leonard Savage . Chociaż nie mam pełnego przeglądu tej dziedziny, mam wrażenie, że najnowsza popularność metod bayesowskich (szczególnie w uczeniu maszynowym) nie wynika z głębokiego przekonania filozoficznego, ale z pragmatycznego stanowiska, że ​​metody bayesowskie okazały się przydatne w wielu przypadkach Aplikacje. Myślę, że typowym dla tego stanowiska jest Andrew Gelman .

Nie wiem, kim są Bayesianie (chociaż przypuszczam, że powinienem mieć wcześniejszą dystrybucję), ale wiem, kim oni nie są.

Cytując wybitnego, obecnie zmarłego Bayesian, DV Lindleya, „nie ma nikogo mniejszego Bayesian niż empiryczny Bayesian”. Sekcja Empirical Bayes z Bayesian Methods: A Social and Behavioural Sciences Approach, druga edycja Jeff Gill . To znaczy, przypuszczam, że nawet „osoby często odwiedzające” myślą o tym, który model ma sens (wybór formy modelowej w pewnym sensie stanowi coś wcześniejszego), w przeciwieństwie do empirycznych Bayesian, którzy są całkowicie mechaniczni we wszystkim.

Myślę, że w praktyce nie ma tak dużej różnicy w wynikach analizy statystycznej przeprowadzonej przez najlepszych ekspertów Bayesian i Frequentists. Przerażające jest to, że widzisz niskiej jakości statystę, który próbuje sztywno wzorować się (nigdy nie obserwował tego u kobiety) według swojego ideologicznego modelu do naśladowania z absolutną ideologiczną czystością i podejść do analizy dokładnie tak, jak jego zdaniem byłby to wzór do naśladowania, ale bez jakość myśli i osądu, jaki ma wzór do naśladowania. Może to prowadzić do bardzo złej analizy i zaleceń. Myślę, że ultra-twardy rdzeń, ale niskiej jakości ideologie są o wiele bardziej powszechne wśród Bayesian niż częstych. Dotyczy to szczególnie analizy decyzji.

Prawdopodobnie spóźniłem się na tę dyskusję, aby ktokolwiek to zauważył, ale myślę, że szkoda, że ​​nikt nie zauważył, że najważniejszą różnicą między podejściem bayesowskim i częstym jest to, że Bayesianie (głównie) stosują metody które szanują zasadę prawdopodobieństwa, podczas gdy często odwiedzający nie zawsze. Zasada wiarygodności mówi, że dowody istotne dla interesującego parametru modelu statystycznego są w całości zawarte w odpowiedniej funkcji wiarygodności.

Częstotliwi, którym zależy na teorii lub filozofii statystycznej, powinni być znacznie bardziej zaniepokojeni argumentami na temat ważności zasady prawdopodobieństwa niż argumentami dotyczącymi rozróżnienia między interpretacją prawdopodobieństwa częstotliwości i częściowego przekonania oraz pożądalności wcześniejszych prawdopodobieństw. Chociaż możliwe są różne interpretacje prawdopodobieństwa współistnienia bez konfliktu, a niektóre osoby decydują się na zaopatrzenie się uprzednio, nie wymagając tego od innych, jeśli zasada prawdopodobieństwa jest prawdziwa w sensie pozytywnym lub normatywnym, wiele metod Frequentist traci swoje roszczenia do optymalności. Częste ataki na zasadę prawdopodobieństwa są gwałtowne, ponieważ zasada ta podważa ich światopogląd statystyczny, ale przeważnie te ataki nie mają śladu ( http://arxiv.org/abs/1507.08394).

Możesz uważać się za Bayesa, ale prawdopodobnie się mylisz ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Bayesianie wyprowadzają rozkład prawdopodobieństwa wyników zainteresowania na podstawie wcześniejszych przekonań / wcześniejszych informacji. Dla bayesowskiego ten rozkład (i jego streszczenia) są tym, czym zainteresuje się większość ludzi. Porównaj z typowymi „częstymi” wynikami, które mówią ci, jaka jest szansa zobaczenia wyników jako bardziej lub bardziej ekstremalnych niż te obserwowane, biorąc pod uwagę, że hipoteza zerowa jest prawdziwa ( wartość p) lub oszacowania przedziału dla parametru będącego przedmiotem zainteresowania, z których 95% zawierałoby prawdziwą wartość, gdyby można było powtórzyć próbkowanie (przedział ufności).

Wcześniejsze dystrybucje bayesowskie budzą kontrowersje, ponieważ są WASZE przedtem. Nie ma „poprawnego” wcześniejszego. Większość pragmatycznych Bayesian szuka zewnętrznych dowodów, które mogą być wykorzystane w przypadku priorów, a następnie dyskontuje je lub modyfikuje w oparciu o to, co ma być „uzasadnione” w danym przypadku. Na przykład sceptyczni priory mogą mieć „bryłę” prawdopodobieństwa w przypadku zerowym - „Jak dobre powinny być dane, aby zmienić zdanie / zmienić obecną praktykę?” Większość z nich przyjrzy się również wiarygodności wniosków dotyczących różnych priorytetów.

Istnieje grupa Bayesian, którzy przyglądają się priory „referencyjnym”, które pozwalają im konstruować wnioski, na które wcześniejsze przekonania nie mają „wpływu”, a zatem otrzymują stwierdzenia probabilistyczne i oszacowania przedziałów, które mają właściwości „częste”.

Istnieje również grupa „hardkorowych Bayesian”, którzy mogą opowiadać się za wyborem modelu (wszystkie modele są błędne) i którzy mogą argumentować, że analiza eksploracyjna wpłynie na twoje priorytety i dlatego nie należy tego robić. Jest jednak kilka tak radykalnych ...

W większości dziedzin statystyki znajdziesz analizy bayesowskie i praktyków. Tak jak znajdziesz ludzi, którzy wolą nieparametryczne ...

Aby odpowiedzieć na twoje ostatnie pytanie (więc nie szukam nagrody!), Dotyczące związku między podejściem Bayesian / Frequentist a pozycją epistemologiczną, najciekawszym autorem, na jaki natknąłem się jest Deborah Mayo. Dobrym punktem wyjścia jest wymiana w 2010 roku między Mayo i Andrew Gelmanem (który pojawia się tutaj jako nieco heretycki Bayesian). Mayo później opublikował szczegółową odpowiedź na papierze Gelman & Shalizi tutaj .

Podzbiór wszystkich Bayesianów, tj. Tych Bayesianów, którzy próbowali wysłać e-mail, znajduje się tutaj .

Nazwałbym Bruno de Finetti i LJ Savage Bayesians. Pracowali nad jej filozoficznymi podstawami.

Aby zrozumieć fundamentalną debatę między częstochronnikami a Bayesianami, trudno byłoby znaleźć bardziej autorytatywny głos niż Bradley Efron.

Temat ten był tematem, który poruszał wiele razy w swojej karierze, ale osobiście uważam, że jeden z jego starszych artykułów był pomocny: Kontrowersje w Podstawach Statystyki (ten zdobył nagrodę za doskonałość ekspozycyjną).