Posiadanie koniugatu przed: głęboki wypadek czy matematyczny wypadek?

Niektóre dystrybucje mają sprzężone priory, a niektóre nie. Czy to rozróżnienie to tylko wypadek? To znaczy, robisz matematykę, i to działa w taki czy inny sposób, ale tak naprawdę nie mówi ci nic ważnego o rozkładzie, z wyjątkiem samego faktu?

A może obecność lub brak koniugatu wcześniej odzwierciedla jakąś głębszą właściwość rozkładu? Czy dystrybucje z sprzężonymi priory mają jakąś inną interesującą właściwość lub właściwości, których brakuje w innych dystrybucjach, co powoduje, że te dystrybucje, a nie inne, mają wcześniejszą koniugat?

bayesian mathematical-statistics conjugate-prior andrewH
źródło

Powinieneś wiedzieć, że każdy rozkład, który można zapisać jako członka regularnej rodziny wykładniczej, musi mieć wcześniej koniugat.

Czy znamy jakąkolwiek interesującą klasę dystrybucji, dla której zdecydowanie wykazano, że nie mają sprzężonych priorów? Znam bardzo niewiele rozkładów z 3 lub więcej parametrami, które znały CP, ale nie jestem pewien, czy wiemy, że one nie istnieją, lub po prostu wiem, że ich nie znaleźliśmy.

andrewH

Ciekawy. Mogłoby to być postrzegane jako właściwość operatora transportującego przedniego, w tej samej rodzinie parametrycznej. Co ciekawe, może to być postrzegane jako właściwość zamknięcia trypletu (wcześniejsza dystrybucja, dystrybucja próbkowania, operator aktualizacji Bayesa).

JohnRos,

@JohnRos. Podoba mi się twój sposób myślenia.

andrewH

Jeśli chodzi o instrukcję otwierającą, należy zachować ostrożność w trywialnym przypadku priorów, które umieszczają całą masę w jednej wartości przestrzeni parametrów (niezbyt przydatne do wnioskowania, co?). Twierdzenie Bayesa pokazuje, że są to sprzężone priory dla każdego modelu. Oczywiście reprezentują one wcześniejszą wiedzę kogoś z „ustalonymi pomysłami”.

Zen

Odpowiedzi:

To nie jest przypadek. Tutaj znajdziesz krótką, bardzo miłą recenzję na temat sprzężonych priorów. Konkretnie, wspomniano, że jeśli istnieje zestaw wystarczających statystyk ustalonego wymiaru dla danej funkcji prawdopodobieństwa, wówczas można wcześniej utworzyć koniugat. Posiadanie zestawu wystarczających statystyk oznacza, że prawdopodobieństwo można podzielić na czynniki w postaci, która pozwala oszacować parametry w sposób wydajny obliczeniowo.

Poza tym posiadanie sprzężonych priorów jest nie tylko wygodne obliczeniowo. Zapewnia również wygładzanie i pozwala na pracę z bardzo małą ilością próbek lub bez wcześniejszych próbek, co jest konieczne w przypadku problemów takich jak podejmowanie decyzji, w przypadkach, gdy masz bardzo mało dowodów.

jpmuc
źródło

Jestem bardzo nowy w statystyce bayesowskiej, ale wydaje mi się, że wszystkie te rozkłady (a jeśli nie wszystkie, to przynajmniej te, które są przydatne) mają tę samą właściwość, że są opisywane przez jakąś ograniczoną metrykę o obserwacjach, które je definiują . Tj. Dla normalnego rozkładu nie musisz znać każdego szczegółu o każdej obserwacji, tylko ich całkowitą liczbę i sumę.

Innymi słowy, zakładając, że znasz już klasę / rodzinę dystrybucji, to rozkład ten ma ściśle niższą entropię informacji niż obserwacje, które ją spowodowały.

Czy to wydaje się trywialne, czy może jest to coś, czego szukasz?

Fabio Beltramini
źródło

Jakie właściwości są „głębokie”, jest bardzo subiektywnym zagadnieniem! więc odpowiedź zależy od twojego pojęcia „głębokiego”. Ale jeśli posiadanie sprzężonych priorów jest w pewnym sensie „głęboką” właściwością, to sens ten jest matematyczny, a nie statystyczny. Jedynym powodem, dla którego (niektórzy) statystycy są zainteresowani sprzężonymi priorytetami, jest to, że upraszczają niektóre obliczenia. Ale to jest mniej ważne na każdy dzień, który mija!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

E {E (θ ∣ X = x)} = a x + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ wcześniejsze interpretacje danych dla parametrów w (zwykłych) wymienionych rodzinach koniugatów.

Podsumowując, zwykłe sprzężone rodziny w wykładniczych rodzinach można uzasadnić jako priory prowadzące do metod liniowych lub jako priory pochodzące z reprezentowania wcześniejszych danych. Mam nadzieję, że ta rozszerzona odpowiedź pomoże!

kjetil b halvorsen
źródło

To jest naprawdę komentarz, a nie odpowiedź, @kjetil. Powinien zostać opracowany w odpowiedzi lub przekształcony w komentarz.

Gung - Przywróć Monikę

@gung Niechętnie przekształcam tę odpowiedź w komentarz, ponieważ wydaje się, że można ją interpretować jako odpowiedź: twierdzi, że istnienie sprzężonego przeora nie ma większego znaczenia poza uproszczeniem obliczeń. (Wierzę, że mogą istnieć powody, by kwestionować zasadność tego twierdzenia, ale bycie niepoprawnym to nie to samo, co brak odpowiedzi!)

whuber

@whuber: jakie są powody poza prostotą obliczeniową? Postaram się rozwinąć na anserv ...

kjetil b halvorsen 15.04.17

Ponieważ wyraźne matematyczne sformułowanie związku jest czymś, co można analizować i rozumieć, podczas gdy zwykły wynik obliczeniowy jest właśnie taki - wynik, który zazwyczaj nie zapewnia żadnego ogólnego uogólnienia. To jak różnica między posiadaniem mapy kraju, z którego można się uczyć i uczyć, w porównaniu z posiadaniem głosowego urządzenia GPS, które poda wskazówki dojazdu. Oba doprowadzą cię z jednego punktu do drugiego, ale ten pierwszy powie ci znacznie więcej o przestrzeni, którą przejeżdżasz.

whuber