Czynniki Bayesa z niewłaściwymi priory

Mam pytanie dotyczące porównania modeli z wykorzystaniem czynników Bayesa. W wielu przypadkach statystycy są zainteresowani zastosowaniem podejścia bayesowskiego z niewłaściwymi priory (na przykład niektóre priory Jeffreysa i referencyjne priory).

Moje pytanie brzmi: w tych przypadkach, gdy tylny rozkład parametrów modelu jest dobrze zdefiniowany, czy prawidłowe jest porównywanie modeli przy użyciu współczynników Bayesa przy użyciu niewłaściwych priorytetów?

Jako prosty przykład rozważ porównanie modelu normalnego z modelem logistycznym z priory Jeffreysa.

bayesian model-selection prior Jeffrey
źródło

Niewłaściwy uprzedni odgrywa rolę „nieinformacyjnego uprzedniego”. Jeśli jesteś w perspektywie „bez wcześniejszego przekonania”, to oczywiście nie możesz przypisać wcześniejszego prawdopodobieństwa do modelu. Istnieje jednak kilka artykułów Bergera i innych autorów na temat pojęcia „wewnętrznych czynników Bayesa”; to brzmi jak czynnik Bayesa z nieinformacyjnymi priory, ale nie mogę powiedzieć więcej, ponieważ nigdy nie czytałem tych artykułów. Prawdopodobnie istnieją również inne metody „obiektywnego wyboru modelu Bayesa” (wpisanie tych terminów w Google daje kilka artykułów autorstwa Bergera).

Stéphane Laurent,

@ StéphaneLaurent Interpretacja wcześniejszego parametru różni się od wcześniejszego prawdopodobieństwa modelu. Można to zobaczyć z ogólnego wyrażenia dla czynnika Bayesa. Możesz także przypisać modelom jednolite priory, niewłaściwe przed parametrami i zobaczyć, co dane mówią a posteriori .

Jeffrey,

Polecam lekturę Kryteria wyboru modelu Bayesa z aplikacją do wyboru zmiennych (AoS, 2012), w szczególności lemat 1. Zasadniczo, niepoprawne priorytety nie mogą być użyte do nietypowych parametrów.

Odpowiedzi:

Nie. Chociaż niewłaściwe priory mogą w pewnych okolicznościach być odpowiednie do oszacowania parametrów (ze względu na twierdzenie Bernsteina – von Misesa ), są one dużym „nie” dla porównania modeli, ze względu na tak zwany paradoks marginalizacji .

Problem, jak sugeruje nazwa, polega na tym, że rozkład krańcowy niewłaściwego rozkładu nie jest dobrze zdefiniowany. Biorąc pod uwagę prawdopodobieństwo i wcześniejsze : współczynnik Bayesa wymaga obliczenia marginalnego prawdopodobieństwa : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Jeśli uważasz, że niewłaściwe wcześniejsze było znane tylko do proporcjonalności (np. ), problem polega na tym, że zostanie pomnożony przez nieznaną stałą. Współczynnik Bayesa oblicza stosunek czegoś o nieznanej stałej. $p_1(\theta) \propto 1$ $p_1(x)$

Niektórzy autorzy, zwłaszcza ET Jaynes, próbują obejść ten problem, definiując niewłaściwe priory jako granicę sekwencji prawidłowych priorów: problem polega na tym, że mogą istnieć dwie różne sekwencje ograniczające, które dają różne odpowiedzi.

Simon Byrne
źródło

Dziękuję za Twoją odpowiedź. Kwestii stałych proporcjonalności można uniknąć, stosując to samo niewłaściwe wcześniej w stosunku do wspólnych parametrów, takich jak parametry lokalizacji i skali, jak wspomniano w The Bayesian Choice str. 349. Jeśli dobrze rozumiem, paradoks marginalizacji dotyczy tylko priorów z pewna struktura.

Jeffrey,

Problem polegać będzie na tym, że dominować będą nierealistyczne przypadki: jeśli masz mundur przed parametrem lokalizacji, będziesz umieszczał 100-krotność ciężaru w przedziale [100,200], tak jak w przypadku [0,1] (co może wydawać się śmieszne niektóre okoliczności).

Simon Byrne,

Chodzi o to, że niewłaściwych priorów nie można interpretować w kategoriach probabilistycznych. Nie ma takiej wagi, biorąc pod uwagę, że probabilistyczna interpretacja przeora zniknęła, ponieważ jest niewłaściwa.

Jeffrey,

Nie jest to probabilistyczne, ale nadal jest miarą, więc możesz dokonywać względnych porównań (tj. Istnieje 100-krotność „masy” w przedziale [100,200] jak w przypadku [0,1]).

Simon Byrne,

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$