Czy istnieje wcześniejszy koniugat dla rozkładu Laplace'a?

13

Czy istnieje wcześniejszy koniugat dla rozkładu Laplace'a ? Jeśli nie, to czy istnieje znane wyrażenie w formie zamkniętej, które aproksymuje tylne parametry rozkładu Laplace'a?

Przeszukiwałem całkiem sporo bez powodzenia, więc moje obecne pytanie brzmi „nie” w powyższych pytaniach ...

Rasmus Bååth
źródło
1
Google „polson i scott normalna wariancja oznacza mieszanki” - da to trochę przybliżonych bayes przy użyciu MAP za pomocą algorytmu em.
prawdopodobieństwo prawdopodobieństwa

Odpowiedzi:

12

Spójrzmy na nich jeden po drugim (biorąc drugi jak podano).

Z linku (z modyfikacją następującej konwencji używania greckich symboli jako parametrów):

f(x|μ,τ)=12τexp(|xμ|τ)

- parametr skali :

L(τ)τk1eSτ

dla pewnych wartości i . To jest prawdopodobieństwo odwrotnej postaci gamma.kS

Tak więc parametr skali ma koniugat przed - przez sprawdzenie, koniugat przed jest odwrotną gamma.

- parametr lokalizacji

Jest to w istocie trudniejsze, ponieważnie upraszcza się w coś wygodnego w ; Nie sądzę, że istnieje jakiś sposób na „zbieranie warunków” (w pewnym sensie taki jest, ale i tak nie musimy).i|xiμ|μ

Jednolity przeor po prostu obetnie tył, co nie jest takie złe w pracy, jeśli wydaje się to prawdopodobne jako przeor.

Jedną interesującą możliwością, która może czasami być przydatna, jest raczej łatwe włączenie wcześniejszego Laplace'a (tej o tej samej skali co dane) za pomocą pseudoobserwacji. Można również przybliżyć niektóre inne (ściślejsze) wcześniej za pomocą kilku pseudoobserwacji)

W rzeczywistości, aby uogólnić na podstawie tego, gdybym pracował z Laplace'em, miałbym pokusę, aby po prostu uogólnić od stałej skali stałej wagi do pracy z wersją Laplace'a z ważoną obserwacją (równoważnie, potencjalnie inna skala dla każdy punkt danych) - prawdopodobieństwo dziennika jest nadal tylko ciągłą, częściową funkcją liniową, ale nachylenie może się zmieniać o wartości inne niż całkowite w punktach łączenia. Wtedy istnieje dogodny „koniugat” wcześniejszy - po prostu kolejny „ważony” Laplace lub, w rzeczywistości, forma lubexp ( - j w j | μ - θ j | )exp(j|μθj|/ϕj)exp(jwj|μθj|)(choć musiałaby być odpowiednio skalowana, aby uzyskać rzeczywistą gęstość) - bardzo elastyczna rodzina rozkładów, która najwyraźniej skutkuje późniejszym „tej samej postaci” co prawdopodobieństwo ważonej obserwacji i czymś łatwym w obsłudze i remis; w rzeczy samej nawet pseudoobserwacja nadal działa.

Jest także na tyle elastyczny, że można go wykorzystać do przybliżenia innych priorytetów.

(Mówiąc bardziej ogólnie, można było pracować na skali kłody i użyć ciągłego, logicznie płasko-wklęsłego wklęsłego loga przed, a tył również byłby w takiej formie; w szczególnym przypadku uwzględniałby asymetryczny Laplace)

Przykład

Aby pokazać, że dość łatwo sobie z tym poradzić - poniżej znajduje się wcześniejsze (kropkowane szare), prawdopodobieństwo (przerywane, czarne) i tylne (pełne, czerwone) dla parametru lokalizacji ważonego Laplace'a (... to było ze znanymi skalami ).

wprowadź opis zdjęcia tutaj

Myślę, że podejście ważone Laplace'a działałoby dobrze w MCMC.

-

Zastanawiam się, czy wynikowy tryb tylny jest ważoną medianą?

- właściwie (aby odpowiedzieć na moje pytanie), wygląda na to, że odpowiedź brzmi „tak”. To sprawia, że ​​praca z nim jest przyjemniejsza.

-

Wspólny przeor

Oczywistym podejściem byłoby napisanie : względnie łatwo byłoby mieć w takiej samej formie jak powyżej - gdzie może być czynnikiem skalującym w stosunku do przeora, więc przeor byłby określony względem - a następnie odwrotna gamma przed , bezwarunkowo.μ | τ τ τ τf(μ,τ)=f(μ|τ)f(τ)μ|ττττ

Niewątpliwie coś bardziej ogólnego dla wspólnego przeora jest całkiem możliwe, ale nie sądzę, że będę kontynuował wspólną sprawę dalej niż tutaj.

-

Nigdy wcześniej nie widziałem ani nie słyszałem o tym ważonym laplace wcześniejszym podejściu, ale wymyślenie go było dość proste, więc prawdopodobnie zostało już zrobione. (Referencje są mile widziane, jeśli ktoś o nich wie.)

Jeśli nikt nie zna żadnych odniesień, może powinienem coś napisać, ale byłoby to zadziwiające.

Glen_b - Przywróć Monikę
źródło
Wow, świetna odpowiedź. Na pewno nie znam żadnych odniesień do czegoś podobnego. Jeśli coś znajdziesz lub napiszesz, daj mi znać!
Rasmus Bååth
1
Jednym z możliwych sposobów uzyskania parametru położenia jest użycie normalnej reprezentacji mieszanki wariancji laplace. Jest to warunkowo koniugat przed ...
probabilislogiczny
@probabilityislogic, który jest interesujący. We wcześniejszych edycjach wstawiałem wiersz wskazujący, że Laplace był mieszaniną normalną w skali wykładniczej, ponieważ zastanawiałem się, czy można coś z tym zrobić, ale gdy zredagowałem odpowiedź dalej, to już nie pasowało i wziąłem to znowu. Z twojego pomocnego komentarza wynika, że ​​można go w ten sposób wykorzystać; to może się przydać.
Glen_b