Czym dokładnie jest model bayesowski?

34

Czy mogę nazwać model, w którym stosuje się twierdzenie Bayesa, „modelem bayesowskim”? Obawiam się, że taka definicja może być zbyt szeroka.

machine-learning bayesian Hazard Sibbs
źródło

9

Model bayesowski to model statystyczny złożony z pary przed x prawdopodobieństwo = tylne x marginalne. Twierdzenie Bayesa jest w pewnym stopniu drugorzędne w stosunku do pojęcia przeora.

Xi'an

18

Zasadniczo taki, w którym wnioskowanie opiera się na zastosowaniu twierdzenia Bayesa w celu uzyskania rozkładu tylnego dla ilości lub wielkości będących przedmiotem zainteresowania z jakiegoś modelu (takiego jak wartości parametrów) w oparciu o pewien wcześniejszy rozkład dla odpowiednich nieznanych parametrów i prawdopodobieństwa z modelu.

tzn. z modelu dystrybucyjnego jakiejś formy, i wcześniejszego , ktoś może chcieć uzyskać tylne . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Prosty przykład modelu bayesowskiego omówiono w tym pytaniu , aw komentarzach do niego - regresja liniowa Bayesa, omówiona bardziej szczegółowo w Wikipedii tutaj . Wyszukiwania ujawniają tutaj dyskusje na temat wielu modeli bayesowskich.

Ale są inne rzeczy, które można próbować zrobić z analizą Bayesa, poza dopasowaniem jedynie modelu - patrz na przykład teoria decyzji Bayesa.

Glen_b - Przywróć Monikę
źródło

Czy w regresji liniowej tu równe wektorowi ? Jeśli nie, co to jest?

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

BCLC,

1

@BCLC Zwykle zawiera również .

σ

$\sigma$

Glen_b

1

@BCLC Wygląda na to, że łączysz wnioskowanie częste i bayesowskie. Wnioskowanie bayesowskie koncentruje się na dowolnych ilościach, którymi jesteś zainteresowany. Jeśli interesują Cię parametry (np. Wnioskowanie o poszczególnych współczynnikach), pomysłem byłoby poszukiwanie rozkładów bocznych [parametry | dane]. Jeśli interesuje Cię funkcja średnia ( ), wówczas szukałbyś dla niej tylnej dystrybucji (która jest oczywiście funkcją (wielowymiarowej) dystrybucji ). Możesz użyć OLS w swoich oszacowaniach, ale parametry tylnej zostaną przesunięte przez wcześniejsze ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

Glen_b

1

... zobacz stronę wikipedii na temat regresji bayesowskiej i niektóre dyskusje tutaj na CV

Glen_b -Reinstate Monica

1

Czasami pojawia się to obliczenie (czy nazwałeś to lub ), z różnych powodów. Mój wcześniejszy komentarz nie jest w żaden sposób sprzeczny z tymi obliczeniami. (lub równoważnie lub ) jest parametrem i musisz sobie z tym poradzić wraz z innymi parametrami. Jednak chociaż rzadko zdarza się, że znasz ; na przykład, jeśli wykonujesz próbkowanie Gibbsa, warunek byłby istotny. Jeśli chcesz po prostu wnioskować na , zintegruj (lub itd.) Z zamiast warunku na .

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$

Glen_b

11

Model Bayesa jest tylko modelem, który wyciąga wnioski z rozkładu tylnego, tj. Wykorzystuje wcześniejszy rozkład i prawdopodobieństwo, które są powiązane twierdzeniem Bayesa.

Sycorax mówi Przywróć Monikę
źródło

7

Czy mogę nazwać model, w którym stosuje się twierdzenie Bayesa, „modelem bayesowskim”?

Nie

Obawiam się, że taka definicja może być zbyt szeroka.

Masz rację. Twierdzenie Bayesa jest uzasadnionym związkiem między prawdopodobieństwami zdarzeń krańcowych a prawdopodobieństwami warunkowymi. Działa niezależnie od twojej interpretacji prawdopodobieństwa.

Czym dokładnie jest model bayesowski?

Jeśli używasz wcześniejszych i późniejszych pojęć w dowolnym miejscu w swojej prezentacji lub interpretacji, prawdopodobnie będziesz używać modelu Bayesa, ale nie jest to absolutna reguła, ponieważ pojęcia te są również stosowane w podejściach innych niż Bayesian.

W szerszym sensie jednak musisz popierać Bayesowską interpretację prawdopodobieństwa jako subiektywnego przekonania. To małe twierdzenie Bayesa zostało rozszerzone i rozciągnięte przez niektórych ludzi na cały światopogląd, a nawet, powiedzmy, filozofię . Jeśli należysz do tego obozu, to jesteś Bayesianinem. Bayes nie miał pojęcia, że tak się stanie z jego twierdzeniem. Byłby przerażony, myślę.

Aksakal
źródło

4

Wydaje się, że jest to pierwsza odpowiedź na wprowadzenie ważnego punktu w pierwszej linii: samo użycie twierdzenia Bayesa nie czyni z niego modelu Bayesa. Chciałbym zachęcić was do pójścia dalej z tą myślą. Wydaje się, że wycofujesz się, gdy mówisz, że „używanie wcześniejszych i późniejszych koncepcji” tworzy model Bayesian. Czy to nie jest po prostu ponowne zastosowanie Twierdzenia Bayesa? Jeśli nie, czy możesz wyjaśnić, co rozumiesz przez „pojęcia” w tym fragmencie? Wszakże statystyki klasyczne (nie Bayesowskie) wykorzystują priory i posteriori do udowodnienia dopuszczalności wielu procedur.

whuber

@ whuber, to było bardziej jak prosta zasada. Ilekroć w gazecie widzę słowo „uprzedni”, kończy się to twierdzeniem Bayesa lub twierdzi, że jest. Wyjaśnię jednak mój punkt widzenia.

Aksakal

5

Model statystyczny może być postrzegany jako procedura / historia opisująca, jak powstały niektóre dane. Model bayesowski to model statystyczny, w którym używasz prawdopodobieństwa do przedstawienia całej niepewności w modelu, zarówno niepewności dotyczącej wyniku, ale także niepewności dotyczącej danych wejściowych (czyli parametrów) do modelu. Całe to twierdzenie poprzedzające / późniejsze / Bayesa wynika z tego, ale moim zdaniem użycie prawdopodobieństwa dla wszystkiego jest tym, co czyni go Bayesowskim (i rzeczywiście lepsze słowo może być po prostu czymś w rodzaju modelu probabilistycznego ).

Oznacza to, że większość innych modeli statystycznych można „przerzucić na” model bayesowski, modyfikując je tak, by wszędzie używały prawdopodobieństwa. Jest to szczególnie prawdziwe w przypadku modeli, które opierają się na maksymalnym prawdopodobieństwie, ponieważ dopasowanie modelu o maksymalnym prawdopodobieństwie jest ścisłym podzbiorem dopasowania modelu Bayesa.

Rasmus Bååth
źródło

MLE jest używany i został opracowany poza modelem Bayesa, więc nie jest bardzo jasne, co masz na myśli mówiąc, że jest „ścisłym podzbiorem dopasowania modelu Bayesa”.

Aksakal

Z perspektywy bayesowskiej MLE jest tym, co otrzymujesz, zakładając płaskie priorytety, dopasowując model i wykorzystując najbardziej prawdopodobną konfigurację parametrów jako oszacowanie punktowe. Czy jest to szczególny przypadek bayesowskiej „filozofii statystyki”, pozostawiam do omówienia innym, ale z pewnością jest to szczególny przypadek dopasowania modelu bayesowskiego.

Rasmus Bååth

Problem z tym stwierdzeniem polega na tym, że pozostawia wrażenie, że musisz skorzystać z pewnego rodzaju myślenia bayesowskiego, aby móc korzystać z MLE.

Aksakal

1

Nie jestem pewny co masz na myśli. IMO nie musisz subskrybować myślenia bayesowskiego, gdy używasz statystyki bayesowskiej, więcej niż musisz subskrybować myślenie matrycowe, gdy wykonujesz algebrę liniową lub myślenie Gaussa, gdy używasz rozkładu normalnego. Ja też nie mówi, że MLE ma być interpretowane jako podzbiór modelu okucia Bayesa (choć wypada całkiem naturalne dla mnie).

Rasmus Bååth

3

Twoje pytanie dotyczy raczej kwestii semantycznej: kiedy mogę nazwać model „Bayesian”?

Wyciągając wnioski z tego doskonałego artykułu:

Fienberg, SE (2006). Kiedy wnioskowanie bayesowskie stało się „bayesowskie”? Analiza bayesowska, 1 (1): 1-40.

są 2 odpowiedzi:

Twój model jest najpierw Bayesowski, jeśli używa reguły Bayesa (to jest „algorytm”).
Mówiąc szerzej, jeśli wywnioskujesz (ukryte) przyczyny z generatywnego modelu twojego systemu, to jesteś bayesowski (to jest „funkcja”).

Zaskakujące jest to, że terminologia „modeli bayesowskich” stosowana na całym polu ustabilizowała się dopiero około lat 60. Na temat uczenia maszynowego można się wiele nauczyć, patrząc na jego historię!

meduz
źródło

Wydaje się, że wymieniasz tylko jedną z „dwóch odpowiedzi”. Może napisz coś o obu?

Tim

dzięki za notatkę, zredagowałem swoją odpowiedź, aby oddzielić 2 części zdania.

meduz

Czym dokładnie jest model bayesowski?

Odpowiedzi: