Kiedy powinienem się martwić paradoksem Jeffreysa-Lindleya w wyborze modelu Bayesa?

Rozważam dużą (ale skończoną) przestrzeń modeli o różnym stopniu złożoności, które eksploruję za pomocą RJMCMC . Wstęp na wektorze parametrów dla każdego modelu jest dość pouczający.

1. W jakich przypadkach (jeśli w ogóle) powinienem się martwić paradoksem Jeffreysa-Lindleya faworyzującym prostsze modele, gdy jeden z bardziej złożonych modeli byłby bardziej odpowiedni?

2. Czy są jakieś proste przykłady, które podkreślają problemy paradoksu w wyborze modelu Bayesa?

Przeczytałem kilka artykułów, a mianowicie blog Xi'ana i blog Andrew Gelmana , ale wciąż nie rozumiem problemu.

Przepraszam, że jestem niejasny na moim blogu !

Uwaga: Podałem trochę podstaw na temat wyboru modelu Bayesa i paradoksu Jeffreysa-Lindleya w tej drugiej odpowiedzi z potwierdzeniem Cross.

Paradoks Jeffreysa-Lindleya jest związany z wyborem modelu Bayesa, ponieważ prawdopodobieństwo krańcowe staje się bez znaczenia, gdy jest miarą skończoną (tj. miarą o nieskończonej masie), a nie miarą prawdopodobieństwa. Powodem tej trudności jest to, że nieskończona masa sprawia, że i nierozróżnialne dla żadnej dodatniej stałej . W szczególności nie można stosować współczynnika Bayesa i nie należy go stosować, gdy jeden model jest wcześniej wyposażony w „płaski”.

$$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$$ $\pi$$\sigma$$\pi$$\mathfrak{c}\pi$$\mathfrak{c}$

Oryginalny paradoks Jeffreysa-Lindleya wykorzystuje jako przykład rozkład normalny. Porównując modele i współczynnik Bayesa wynosi Jest dobrze zdefiniowane, gdy jest właściwym przeorem, ale jeśli weźmiesz normalny przeor on i pozwólmy przejść do nieskończoności, mianownik przechodzi do zera dla dowolnej wartości różnej od zera i dowolnej wartości . (Chyba że i

$$x\sim\mathcal{N}(0,1)$$ $$x\sim\mathcal{N}(\theta,1)$$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$$ $\pi$$\mathcal{N}(0,\tau^2)$$\theta$$\tau$$\bar{x}_n$$n$$\tau$$n$są powiązane, ale to się komplikuje!) Jeśli zamiast tego użyjesz bezpośrednio gdzie jest koniecznie stałą, współczynnik Bayesa będzie stąd bezpośrednio zależy od . $$\pi(\theta)=\mathfrak{c}$$ $\mathfrak{c}$$\mathfrak{B}_{12}$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$$ $\mathfrak{c}$

Teraz, jeśli wasze przeory mają charakter informacyjny (a zatem i właściwy), nie ma powodu do wystąpienia paradoksu Jeffreysa-Lindleya. Przy wystarczającej liczbie obserwacji czynnik Bayesa konsekwentnie wybiera model, który wygenerował dane. (Lub ściślej model w kolekcji modeli rozważanych do wyboru modelu, który jest najbliższy „prawdziwemu” modelowi, który wygenerował dane.)