Czy Bayesianie twierdzą, że istnieją przypadki, w których ich podejście uogólnia się / pokrywa się z podejściem częstym?

12

Czy Bayesianie kiedykolwiek twierdzą, że ich podejście uogólnia podejście częstokroć częstokroć, ponieważ można zastosować nieinformacyjne priory i dlatego można odzyskać typową strukturę modelu częstokroć?

Czy ktoś może skierować mnie do miejsca, w którym mogę przeczytać o tym argumencie, jeśli rzeczywiście jest on używany?

EDYCJA: To pytanie może być sformułowane niezupełnie tak, jak chciałem je sformułować. Pytanie brzmi: „czy jest jakieś odniesienie do dyskusji na temat przypadków, w których podejście bayesowskie i podejście częstokroć nakładają się / przecinają / mają coś wspólnego poprzez zastosowanie pewnego uprzedniego?” Jednym z przykładów byłoby użycie niewłaściwego wcześniejszego , ale jestem prawie pewien, że jest to tylko wierzchołek góry lodowej.p(θ)=1

bayesian references frequentist singelton
źródło
2
Przypominam sobie ten argument przedstawiony we wstępie Greenberga do ekonometrii bayesowskiej, ale nie jestem pozytywny i nie jestem pewien, czy istnieje lepsze odniesienie. Ponadto uważam, że to nie tylko wybór przeora, ale także zaufanie do przeora.
John
3
Istnieje dobry argument, że osoby często zajmujące się uogólnieniem uogólniają podejście Bayesa! Wynika to z faktu, że osoby często odwiedzające chętnie używają priorów, gdy są one uzasadnione (teorią lub danymi), ale dodatkowo stosują metody, których Bayesianie nie mogliby dotknąć. :-)
whuber
3
Są to zupełnie inne podejścia, zaczynając od interpretacji prawdopodobieństwa (patrz np. Link ). Ponadto, nie ma unikalnej (nawet mniej akceptowanej) definicji nieinformacyjnej wcześniej tylko dlatego, że nie ma unikalnej (lub zaakceptowanej) definicji informacji . Nawet jeśli estymatory są ilościowo takie same, interpretacja estymatora częstokroć i estymatora Bayesa są różne. Jak wspomniałem w poprzednim komentarzu „To jak powiedzieć, że pomarańcze uogólniają jabłka”.
1
p(θ)=1
1
@Procrastinator tak, dziękuję! właśnie tego rodzaju dyskusji szukam (choć sądzę, że wciąż jest to wierzchołek góry lodowej). Muszę tylko znaleźć książkę, która dokładnie to robi i nie mogłem jej znaleźć. Będę szukał dalej. dzięki jeszcze raz. (większość książek skupia się na podejściu częstokroć lub na bayesowskim, ale nie porównuj tych dwóch z tymi, które zrobiłeś).
Singelton

Odpowiedzi:

11

Widziałem dwa wysunięte argumenty, że analiza bayesowska jest uogólnieniem analizy częstokrzyskiej. Oba były nieco zuchwałe i bardziej zachęcały ludzi do rozpoznania założeń dotyczących modeli regresji, używając priorytetów jako kontekstu.

Argument 1: Częstotliwościowa analiza to analiza Bayesa z czysto nieinformacyjnym uprzednim środkiem na zero (tak, nie ma znaczenia, gdzie jest wyśrodkowana, ale to zignoruj). Zapewnia to zarówno kontekst, dla którego Bayesian może wyodrębnić wyniki analizy częstokrzyskiej, wyjaśnia, dlaczego można uciec się do korzystania z niektórych technik „bayesowskich”, takich jak MCMC, w celu wyodrębnienia szacunków częstych w sytuacjach, w których, powiedzmy, maksymalna zbieżność prawdopodobieństwa jest trudna i dostaje ludzie rozpoznają, że kiedy mówią „Dane mówią same za siebie” i tym podobne, to, co tak naprawdę mówią, to że wcześniej wszystkie wartości są jednakowo prawdopodobne.

Argument 2: Każdy termin regresji, którego nie uwzględniono w modelu, został w rzeczywistości przypisany wcześniejszemu środkowi zera bez wariancji. Ten nie jest tak bardzo argumentem „analiza bayesowska jest uogólnieniem”, jak „argumentem wszędzie są priory , nawet w modelach częstych”.

Fomite
źródło
3
+1 Argument 2 jest interesujący. Dwa komentarze do Argumentu 1: 1. Powiedziałbym płaskie priory zamiast niedoinformujących (ten ostatni jest mylący, jeśli w ogóle taki był). 2. Nie ma potrzeby mówić o priors, aby zmotywować użycie MCMC w analizie częstokroć - w tej technice numerycznej nie ma z natury niczego Bayesowskiego !
MånsT
dziękuję EpiGrad. Czy masz jakieś odniesienia, które omawiają dwa argumenty, o których wspomniałeś?
singelton
1
+1 Ok, dopóki ludzie zdają sobie sprawę, że to jest język w policzek, aby zdobyć punkt. Ale proszę, nie bierz tego na poważnie!
Michael R. Chernick
@ MånsT - Zgadzam się, że MCMC nie potrzebuje uzasadnienia użycia, ale uważam, że istnieje on w ludzkim umyśle jako coś w sferze Bayesian, a nie technika czysto numeryczna. To pomaga im to zepchnąć.
Fomite
@bayesianOrFrequentist Naprawdę nie.
Fomite
6

Krótka odpowiedź brzmi prawdopodobnie „tak - i nie potrzebujesz nawet wcześniejszego uprzedzenia, aby ten argument się utrzymał”.

Na przykład, oszacowanie Maximum A Posteriori (MAP) jest uogólnieniem maksymalnego prawdopodobieństwa, które obejmuje uprzednie, i istnieją częste podejścia, które są analitycznie równoważne ze znalezieniem tej wartości. Częstochowiec nazywa „przejęcie” jako „ograniczenie” lub „karę” funkcji wiarygodności i otrzymuje tę samą odpowiedź. Tak więc zarówno częsterzy, jak i bayesianie mogą wskazywać na to samo, co jest ich najlepszym oszacowaniem parametrów, nawet jeśli filozofie są różne. Sekcja 5 tego artykułu dla osób często podróżujących to jeden przykład, w którym są one równoważne.

Dłuższa odpowiedź jest bardziej podobna do „tak, ale często istnieją inne aspekty analizy, które rozróżniają te dwa podejścia. Mimo to, nawet te rozróżnienia niekoniecznie są odziane w żelazo w wielu przypadkach”.

Na przykład, podczas gdy Bayesianie czasami używają oszacowania MAP (tryb boczny), gdy jest to wygodne, zwykle zamiast tego podkreślają średnią tylną. Z drugiej strony, środek tylny ma również częstokształtny analog, zwany „zapakowanym” oszacowaniem (z „agregacji bootstrapu”), który może być prawie nie do odróżnienia (patrz ten plik pdf, aby zobaczyć przykład tego argumentu). Więc to nie jest tak naprawdę „trudne” rozróżnienie.

W praktyce wszystko to oznacza, że ​​nawet jeśli częsty człowiek robi coś, co Bayesian uznałby za całkowicie nielegalne (lub odwrotnie), często (przynajmniej w zasadzie) istnieje podejście z innego obozu, które dałoby prawie taki sam anser.

Głównym wyjątkiem jest to, że niektóre modele są naprawdę trudne do dopasowania z perspektywy częstych, ale jest to bardziej kwestia praktyczna niż filozoficzna.

David J. Harris
źródło
dzięki David. Twoja odpowiedź jest przydatna. Szukam również odniesienia, które szczegółowo omawia ten punkt. Chcę zobaczyć, jaki jest argument Bayesian na temat nieinformacyjnych priorów i sposób, w jaki można je sprowadzić do podejścia częstych. Doskonale rozumiem techniczny punkt za tym (na przykład, jeśli pomnożysz swoje prawdopodobieństwo przez 1 ... dostaniesz swoje prawdopodobieństwo :-)), ale szukam bardziej przyzwoitej dyskusji.
singelton
1
Odkrywam, że wielu młodych ludzi nie zna historii ani nie rozumie istoty paradygmatu bayesowskiego. Nazwanie go uogólnieniem podejścia częstokroć błędnie przedstawia porównanie tych paradygmatów. Biorąc komentarz Procrastinators i przedstawiając go w nieco inny sposób, powiedziałbym, że to tak, jakby powiedzieć, że jabłko to po prostu zbyt duża pomarańcza,
Michael R. Chernick
@DavidJHarris Nie podobała mi się twoja odpowiedź. Z technicznego punktu widzenia relacje, które wskazujesz, są uzasadnione, ale powiedzenie „tak” w krótkiej odpowiedzi daje złe wrażenie. Nie sądzę, by Bayesianie chcieli nazwać swój paradygmat generalizacją statystyk częstotliwości. Terminy w pełni bayesowskie, empiryczne bayesowskie i być może odróżniają paradygmaty związane z bayesowskie, ale myślę, że bayesianie mogą sprzeciwić się nazywaniu tych gałęzi paradygmatu bayesowskiego.
Michael R. Chernick,
2
@MichaelChernick Punkt zajęty. Nie chciałem sugerować, że wszystkie statystyki i filozofie bayesowskie mają bliskie częste analogi i vice versa, tylko tyle, że często można znaleźć metodę, która pozwoli osiągnąć to samo zadanie z obu obozów, i że podejście bayesowskie wydaje się być bardziej elastyczny z dwóch. Być może powinienem podkreślić, że nawet jeśli oszacowania parametrów uzyskane z dwóch szkół są identyczne, należy je interpretować inaczej, jak wskazał Procrastinator w innym miejscu.
David J. Harris
@DavidJHarris. Zgadzam się ze wszystkim, co mówisz, ale biorę jedynie wyjątek od użycia terminu generalizacja.
Michael R. Chernick,
3

Edwin Jaynes był jednym z najlepszych w podkreślaniu związków między wnioskowaniem bayesowskim a częstym. Jego papierowe przedziały ufności kontra przedziały bayesowskie (Google go przywołuje) jako bardzo dokładne porównanie - i myślę, że jest uczciwy.

Oszacowanie małego obszaru to kolejny obszar, w którym odpowiedzi ML / REML / EB / HB wydają się być bliskie.

prawdopodobieństwo prawdopodobieństwa
źródło
2

Wiele z tych komentarzy zakłada, że ​​„częsty” oznacza „oszacowanie maksymalnego prawdopodobieństwa”. Niektóre osoby mają inną definicję: „częsty” oznacza rodzaj analizy długoterminowych właściwości wnioskowania dowolnej metody wnioskowania - bez względu na to, czy jest to metoda bayesowska, metoda chwilowa, maksymalne prawdopodobieństwo, czy też coś nieprobabilistycznego warunki (np. SVM) itp.

Brendan OConnor
źródło
1

Chciałbym usłyszeć o tym od Stephane'a lub innego eksperta z Bayesian. Powiedziałbym „nie”, ponieważ jest to inne podejście, a nie uogólnienie. W innym kontekście zostało to już tutaj omówione. Nie myśl, że tylko dlatego, że płaskie priory dają wyniki zbliżone do maksymalnego prawdopodobieństwa, że ​​metoda bayesowska z płaskim przeorem jest częsta! Sądzę, że byłoby to fałszywe domniemanie, które doprowadziłoby cię do myślenia, że ​​dokonując uprzedniego arbitrażu, uogólniasz na inne możliwe priorytety. Nie sądzę w ten sposób i jestem pewien, że większość Bayesian też tego nie robi.

Więc niektórzy ludzie się z tym kłócą, ale nie sądzę, że powinni być klasyfikowani jako Bayesianie

chociaż Stephane wskazał na trudności z silną klasyfikacją. Tak ściśle mówiąc, jeśli słowo jest kiedykolwiek, to myślę, że może zależeć od tego, jak zdefiniujesz Bayesian.

Michael R. Chernick
źródło
(+1) Są to zupełnie inne podejścia. To tak, jakby powiedzieć, że pomarańcze uogólniają jabłka.
5
Jedzenie dużej ilości pomarańczy i bez jabłek powoduje, że tak myślisz.
Alfred M.
jest to prawda, chociaż maksymalne prawdopodobieństwo jest jedną z niewielu ogólnych procedur dokonywania wnioskowania częstych. Tak więc niezmiennie będzie on nadmiernie reprezentowany w ogólnych dyskusjach na temat metod częstych. Dziwię się, że próbkowanie w ankiecie nie zostało wspomniane, takie jak GREG.
probabilityislogic