Czy właściwe wcześniejsze i potęgowane prawdopodobieństwo może prowadzić do niewłaściwej tylnej choroby?

11

(To pytanie jest inspirowana przez tego komentarza z Xi'an ).

Dobrze wiadomo, że jeśli poprzednia dystrybucja jest właściwa, a prawdopodobieństwo jest dobrze określone, to rozkład tylny jest poprawne prawie na pewno.π(θ)L(θ|x)π(θ|x)π(θ)L(θ|x)

W niektórych przypadkach używamy zamiast tego temperowanego lub potęgowanego prawdopodobieństwa, prowadzącego do pseudo-tylnej

π~(θ|x)π(θ)L(θ|x)α
dla niektórych (na przykład może to mieć zalety obliczeniowe).α>0

Czy w tym otoczeniu możliwe jest posiadanie właściwego przedniego, ale niewłaściwego pseudo-tylnego?

Robin Ryder
źródło
2
Właściwie kilka minut później uznałbym to za mało prawdopodobne, ponieważ rozbieżność wcześniejszego iloczynu x prawdopodobieństwa jest zmniejszona, gdy weźmiemy pod uwagę iloczyn wcześniejszego iloczynu x ^ ^… Każdy rybitwa zmierzający do nieskończoności idzie tam wolniej! A terminy wolniej zerowane są kontrolowane przez właściwego przeora. Stawiam więc, że jest to niemożliwe. (ostrzeżenie: wiadomo, że się mylę!)
Xi'an,
1
Być może przydatne w poszukiwaniu kontrprzykładu, gdy : nierówność Markowa mówi nam, że Jeśli więc możesz znaleźć przypadek, w którym ma ogony wielomianowe, możesz prawdopodobnie skonstruować niewłaściwy pseudo-tylny. α>1L(x | θ)
Eθπ[L(x|θ)α]tαPθπ(L(x|θ)>t)Eθπ[L(x|θ)α]supt>0tαPθπ(L(x|θ)>t)
L(x|θ)
πr8
Czy ten argument działałby również dla ? Czy istnieje również sposób na udowodnienie, że skonstruowane w ten sposób prawdopodobieństwo byłoby właściwe? α<1
InfProbSciX
1
Właściwie dla , ponieważ wiemy, że , supremum na RHS jest zawsze skończone, a dla , jeden używa argumentu Jensena, aby dokonać tego samego wniosku. Argument ten pod tym względem zawodzi. Mała uwaga, że ​​ten argument wymaga nieograniczonego prawdopodobieństwa aby odnieść sukces, tj. dla wszystkich . E π [ L ( x | θ ) ] < α < 1 L P π ( L ( x | θ ) > t ) > 0 tα=1Eπ[L(x|θ)]<α<1LPπ(L(x|θ)>t)>0t
πr8
1
To prawda, że ​​dla nie można zbudować jednego, dobry punkt! Muszę powiedzieć, że byłbym zafascynowany, widząc przykład nieograniczonego prawdopodobieństwa! Być może wersja beta późniejsza byłaby wynikiem nieograniczonego prawdopodobieństwa. α=1
InfProbSciX

Odpowiedzi:

7

W przypadku być może jest to argument wskazujący, że niemożliwe jest zbudowanie takiego a posteriora?α1

Chcielibyśmy dowiedzieć się, czy jest to możliwe dla .π~(θ|x)dθ=

W RHS:

π(θ)Lα(θ|x)dθ=Eθ(Lα(θ|x))

Jeśli , jest funkcją wklęsłą, więc według nierówności Jensena:α1xα

Eθ(Lα(θ|x))Eθα(L(θ|x))=m(x)α<

... gdzie jak wskazał Xi'an, jest stałą normalizującą (dowód).m(x)

InfProbSciX
źródło
Dzięki, dzięki. Podoba mi się, że używasz faktu, że dla tylny jest właściwy. α=1
Robin Ryder,
1

Można użyć wyniku w odpowiedzi @ InfProbSciX, aby ogólnie udowodnić wynik. Przepisz jako Jeśli , mamy powyżej przypadek nierówności Jensena, ponieważ wiemy, że można normalizować. Podobnie, jeśli , możemy napisać używając , znowu wpadając w ten sam przypadek, ponieważ wiemy, że można normalizować. Teraz można użyć (silnej) indukcji, aby ogólnie pokazać przypadek.L(θx)απ(θ)

L(θx)α1L(θx)π(θ).
1α2L(x|θ)π(θ)2α3
L(x|θ)αpL(x|θ)pπ(θ),
1p2L(x|θ)pπ(θ)

Stare komentarze

Nie jestem pewien, czy jest to bardzo przydatne, ale ponieważ nie mogę komentować, pozostawię to w odpowiedzi. Oprócz doskonałej uwagi @ InfProbSciX na temat , jeśli przyjmie się dalsze założenie, że , to nie jest możliwe posiadanie właściwego wcześniejszego, ale niewłaściwego pseudo-tylnego dla . Na przykład, jeśli wiemy, że istnieje drugi ( -ty) moment , wiemy, że jest on w ( ), a zatem pseudo-tylny będzie właściwy dla . Sekcja 1 w tych uwagachα1L(θx)Lp1<αppL(θx)L2Lp0α2idzie nieco bardziej szczegółowo, ale niestety nie jest jasne, jak szeroka jest klasa powiedzmy pdfs. Przepraszam, jeśli mówię tu poza kolejnością, naprawdę chciałem to zostawić jako komentarz.L10

Luiz Max Carvalho
źródło
1
Masz rację, jeśli funkcja prawdopodobieństwa znajduje się w przestrzeni - tj. Przestrzeń wr miot indukowany przez wcześniejszy, to posterior będzie odpowiedni dla . Zgaduję tutaj całkowicie, ale myślę, że przestrzeń ta obejmowałaby najbardziej prawdopodobne prawdopodobieństwa - myślę, że przed laty mogłem przeczytać dowód, który mówi, że jeśli jest liczbą całkowitą Riemanna, to jego pozytywne moce również są. jest jednak całkowitą. Twierdzenie 1.26 w celach informacyjnychL(θ|x)L p 1 α p f f n , n Z +Lp(πθ)Lp1αpffn,nZ+
InfProbSciX
@InfProbSciX, myślę, że w cieniu może kryć się kompletny dowód. Biorę z twojej odpowiedzi, że może być negatywna. Jeśli jest to poprawne, możemy pokazać, że dla dowolnego prawdopodobieństwo pseudo-prawdopodobieństwa będzie całkowalne, ponieważ odwrotności funkcji całkowitych są całkowalne. A jeśli prawdopodobieństwo jest całkowalne, twierdzę, że a posterior będzie całkowalny, ponieważ wcześniejszy jest ograniczony, a iloczyn funkcji całkowitej i ograniczonej jest całkowalny ( math.stackexchange.com/a/56008/271610 ). Powiedz mi co myślisz. p > 1αp>1
Luiz Max Carvalho,
1
Myślę, że można zignorować przypadek, w którym , ponieważ pytanie wyraźnie zakłada inaczej. Należy wykazać całkowalność dla każdego ogólnego przypadku. Nie jestem też pewien, czy uprzednio jest zawsze ograniczone, na przykład gęstość nie byłaby. L α B e t a ( 0,5 , 0,5 )α<0LαBeta(0.5,0.5)
InfProbSciX
@InfProbSciX, miałem na myśli to, że nawet jeśli nie jest objęte pytaniem, jeśli twój dowód dotyczy również tego warunku, to moglibyśmy wykazać całkowalność dla , wykorzystując fakt, że jeśli jest całkowalne, to tak wynosi . Jak mówisz, wszystko to jest zerowe, jeśli przeor jest nieograniczony. Zamiast tego możemy spróbować ograniczyć prawdopodobieństwo i wydaje mi się, że wszelkie prawdopodobieństwo, które można by zastosować w MLE, musiałoby być ograniczone lub silnie wklęsłe ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ), z których oba można wykorzystać do zbudować ogólny dowód. jakieś pomysły? α > 1 f 1 / fα<0α>1f1/f
Luiz Max Carvalho,
Przepraszam, tęskniłem za tym, tak, wygląda na to, że podjąłby ciekawą próbę!
InfProbSciX