Kiedy metody bayesowskie są lepsze od Frequentist?

Naprawdę chcę dowiedzieć się o technikach bayesowskich, więc starałem się trochę nauczyć. Trudno mi jednak dostrzec, kiedy stosowanie technik bayesowskich kiedykolwiek daje przewagę nad metodami Frequentist. Na przykład: Widziałem w literaturze trochę o tym, jak niektórzy wykorzystują pouczające priory, podczas gdy inni używają nieinformacyjnego przeora. Ale jeśli używasz nieinformacyjnego przeora (co wydaje się naprawdę powszechne?) I okaże się, że rozkład tylny jest, powiedzmy, rozkładem beta ... czy nie mógłbyś po prostu dopasować rozkładu beta na początku i nazwać to dobre? Nie rozumiem, jak skonstruowanie wcześniejszej dystrybucji, która nic ci nie mówi ... naprawdę może ci coś powiedzieć?

Okazuje się, że niektóre metody, których używałem w R, wykorzystują mieszankę metod bayesowskich i częstych (autorzy potwierdzają, że jest to nieco niespójna) i nawet nie jestem w stanie rozpoznać, które części są bayesowskie. Oprócz dopasowania dystrybucji, nie mogę nawet dowiedzieć się, w jaki sposób zastosowałbyś metody bayesowskie. Czy istnieje „regresja bayesowska”? Jakby to wyglądało? Wszystko, co mogę sobie wyobrazić, to zgadywanie bazowej dystrybucji w kółko, podczas gdy Frequentist myśli o niektórych danych, przygląda się im, widzi rozkład Poissona i uruchamia GLM. (To nie jest krytyka ... Naprawdę po prostu nie rozumiem!)

Więc ... może pomogłyby jakieś podstawowe przykłady? A jeśli znasz jakieś praktyczne referencje dla prawdziwych początkujących, takich jak ja, to też byłoby bardzo pomocne!

Oto kilka linków, które mogą Cię zainteresować porównaniem metod częstych i bayesowskich:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • Zarchiwizowane tutaj: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/advantagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

W skrócie, w sposób, w jaki to zrozumiałem, biorąc pod uwagę określony zestaw danych, częsty uważa, że ​​istnieje prawdziwy, podstawowy rozkład, z którego te dane zostały wygenerowane. Niemożność uzyskania dokładnych parametrów jest funkcją skończonej wielkości próbki. Z drugiej strony Bayesianie uważają, że zaczynamy od pewnych założeń dotyczących parametrów (nawet jeśli nieświadomie) i wykorzystujemy dane do udoskonalenia naszej opinii na temat tych parametrów. Obie próbują opracować model, który może wyjaśnić obserwacje i dokonać prognoz; różnica polega na założeniach (zarówno faktycznych, jak i filozoficznych). Jako zwięzłe, rygorystyczne oświadczenie, można powiedzieć, że częstokroć uważa, że ​​parametry są ustalone, a dane losowe; Bayesian uważa, że ​​dane są stałe, a parametry są losowe. Który jest lepszy lub lepszy? Aby odpowiedzieć, że musisz się wkopać i uświadomić sobie po prostujakie założenia pociągają za sobą (np. czy parametry są asymptotycznie normalne?).

Jednym z wielu interesujących aspektów kontrastów między tymi dwoma podejściami jest to, że bardzo trudno jest formalnie interpretować wiele wielkości, które uzyskujemy w dziedzinie częstych. Jednym z przykładów jest stale rosnące znaczenie metod penalizacji (kurczenie się). Kiedy otrzymuje się oszacowane maksymalne prawdopodobieństwo, które jest karane, oszacowania punktu tendencyjnego i „przedziały ufności” są bardzo trudne do interpretacji. Z drugiej strony, boczny rozkład bayesowski dla parametrów, które są karane w kierunku zera za pomocą wcześniejszego rozkładu skoncentrowanego wokół zera, ma całkowicie standardowe interpretacje.

Kradnę to hurtowo od grupy użytkowników Stan. Michael Betancourt to zapewnił naprawdę dobrą dyskusję na identyfikowalności w wnioskowaniu bayesowskim, co, jak sądzę, opiera się na twojej prośbie o kontrast dwóch szkół statystycznych.

Pierwszą różnicą w analizie bayesowskiej będzie obecność priorów, które, nawet jeśli są słabe, ograniczą masę tylną dla tych 4 parametrów do skończonego sąsiedztwa (w przeciwnym razie nie miałbyś ważnego wcześniejszego). Mimo to nadal możesz mieć niemożność zidentyfikowania w tym sensie, że tylny nie zbiegnie się do masy punktowej w granicy nieskończonych danych. W bardzo realnym sensie nie ma to jednak znaczenia, ponieważ (a) nieskończony limit danych i tak nie jest rzeczywisty i (b) wnioskowanie Bayesa nie zgłasza oszacowań punktowych, a raczej rozkłady. W praktyce taka niemożność zidentyfikowania spowoduje duże korelacje między parametrami (być może nawet niewypukłość), ale odpowiednia analiza bayesowska zidentyfikuje te korelacje. Nawet jeśli zgłaszasz marginesy jednoparametrowe, „

$\mu_1$$\mu_2$$\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$$\mu_1 + \mu_2 = 0$$\mu_1$$\mu_2$

$\mu_1$$\mu_2$$\mu_1$$\mu_2$

Kluczowa różnica między podejściem bayesowskim a częstym polega na zdefiniowaniu prawdopodobieństwa, więc jeśli konieczne jest traktowanie prawdopodobieństw ściśle jako częstotliwości długoterminowej, wówczas podejścia częste są uzasadnione, jeśli nie, to należy zastosować podejście bayesowskie. Jeśli którakolwiek interpretacja jest możliwa do zaakceptowania, wówczas podejście bayesowskie i częste są prawdopodobnie uzasadnione.

Innym sposobem na wyrażenie tego jest to, że jeśli chcesz wiedzieć, jakie wnioski możesz wyciągnąć z konkretnego eksperymentu, prawdopodobnie chcesz być Bayesianem; jeśli chcesz wyciągnąć wnioski na temat pewnej populacji eksperymentów (np. kontroli jakości), wtedy metody częste są odpowiednie.

Zasadniczo ważne jest, aby wiedzieć, na jakie pytanie chcesz uzyskać odpowiedź, i wybrać formę analizy, która najbardziej odpowiada na pytanie.