Kiedy powinienem się martwić paradoksem Jeffreysa-Lindleya w wyborze modelu Bayesa?

12

Rozważam dużą (ale skończoną) przestrzeń modeli o różnym stopniu złożoności, które eksploruję za pomocą RJMCMC . Wstęp na wektorze parametrów dla każdego modelu jest dość pouczający.

  1. W jakich przypadkach (jeśli w ogóle) powinienem się martwić paradoksem Jeffreysa-Lindleya faworyzującym prostsze modele, gdy jeden z bardziej złożonych modeli byłby bardziej odpowiedni?

  2. Czy są jakieś proste przykłady, które podkreślają problemy paradoksu w wyborze modelu Bayesa?

Przeczytałem kilka artykułów, a mianowicie blog Xi'ana i blog Andrew Gelmana , ale wciąż nie rozumiem problemu.

Jeff
źródło
1
Myślę, że pytań jest zbyt wiele i są one zbyt różne, aby można było na nie skutecznie odpowiedzieć.
jaradniemi
Dzięki za opinie, @jaradniemi, usunąłem pytanie „Czy procedura RJMCMC, która skutecznie zwraca prawdopodobieństwa modelu tylnego, faworyzuje te same modele, co DIC?”
Jeff

Odpowiedzi:

5

Przepraszam, że jestem niejasny na moim blogu !

Uwaga: Podałem trochę podstaw na temat wyboru modelu Bayesa i paradoksu Jeffreysa-Lindleya w tej drugiej odpowiedzi z potwierdzeniem Cross.

Paradoks Jeffreysa-Lindleya jest związany z wyborem modelu Bayesa, ponieważ prawdopodobieństwo krańcowe staje się bez znaczenia, gdy jest miarą skończoną (tj. miarą o nieskończonej masie), a nie miarą prawdopodobieństwa. Powodem tej trudności jest to, że nieskończona masa sprawia, że i nierozróżnialne dla żadnej dodatniej stałej . W szczególności nie można stosować współczynnika Bayesa i nie należy go stosować, gdy jeden model jest wcześniej wyposażony w „płaski”.

m(x)=π(θ)f(x|θ)dθ
πσπcπc

Oryginalny paradoks Jeffreysa-Lindleya wykorzystuje jako przykład rozkład normalny. Porównując modele i współczynnik Bayesa wynosi Jest dobrze zdefiniowane, gdy jest właściwym przeorem, ale jeśli weźmiesz normalny przeor on i pozwólmy przejść do nieskończoności, mianownik przechodzi do zera dla dowolnej wartości różnej od zera i dowolnej wartości . (Chyba że i

xN(0,1)
xN(θ,1)
B12=exp{n(x¯n)2/2}+exp{n(x¯nθ)2/2}π(θ)dθ
πN(0,τ2)θτx¯nnτnsą powiązane, ale to się komplikuje!) Jeśli zamiast tego użyjesz bezpośrednio gdzie jest koniecznie stałą, współczynnik Bayesa będzie stąd bezpośrednio zależy od .
π(θ)=c
cB12
B12=exp{n(x¯n)2/2}c+exp{n(x¯nθ)2/2}dθ=exp{n(x¯n)2/2}c2π/n
c

Teraz, jeśli wasze przeory mają charakter informacyjny (a zatem i właściwy), nie ma powodu do wystąpienia paradoksu Jeffreysa-Lindleya. Przy wystarczającej liczbie obserwacji czynnik Bayesa konsekwentnie wybiera model, który wygenerował dane. (Lub ściślej model w kolekcji modeli rozważanych do wyboru modelu, który jest najbliższy „prawdziwemu” modelowi, który wygenerował dane.)

Xi'an
źródło
2
Wielkie dzięki za bardzo szczegółową odpowiedź, Xi'an! Twój blog jest bardzo przejrzysty (wiele się z niego nauczyłem). Powoli rozumiałem ten konkretny problem!
Jeff
W rzeczywistości mój blog działa z bardzo zmiennymi założeniami dotyczącymi tła i wymagań wstępnych, więc z pewnością nie jest to jasne dla wielu czytelników!
Xi'an,