Zrozumienie koniugatu Beta przed wnioskiem Bayesa o częstotliwości

Poniżej znajduje się fragment wprowadzenia Bolstad do statystyki bayesowskiej .

Dla wszystkich tych ekspertów może to być trywialne, ale nie rozumiem, w jaki sposób autor stwierdza, że nie musimy wykonywać żadnej integracji, aby obliczyć prawdopodobieństwo późniejsze dla pewnej wartości . Rozumiem drugie wyrażenie, którym jest proporcjonalność i skąd pochodzą wszystkie terminy ( prawdopodobieństwo x pierwszeństwo) . Ponadto rozumiem, że nie musimy martwić się o mianownik, ponieważ tylko licznik jest wprost proporcjonalny. Ale przechodząc do trzeciego równania , czy nie zapominamy o mianowniku reguły Bayesa? Gdzie to poszło? A wartość obliczona przez funkcje Gamma, czy to nie jest stała? Czy stałe nie anulują się w twierdzeniu Bayesa? $\pi$

distributions bayesian beta-distribution conjugate-prior Jenna Maiz
źródło

Jest tylko jedna możliwa stała, a mianowicie ta, która czyni funkcję gęstością prawdopodobieństwa.

Xi'an,

Odpowiedzi:

Chodzi o to, że wiemy, do czego tylny jest proporcjonalny i tak się dzieje, że nie musimy wykonywać całkowania, aby uzyskać (stały) mianownik, ponieważ uznajemy, że rozkład z funkcją gęstości prawdopodobieństwa proporcjonalną do (np. Z tyłu) to rozkład beta. Ponieważ stałą normalizującą dla takiej wersji beta pdf jest , otrzymujemy tylny pdf bez integracji. I tak, stała normalizująca w twierdzeniu Bayesa jest stałą (biorąc pod uwagę zaobserwowane dane i założone wcześniej), podobnie jak stała normalizująca dla gęstości tylnej. $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

Björn
źródło

Ustawić

Masz ten model: Gęstości, dla których są aw szczególności zauważ, że

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

Wersja niejawna

Teraz. Rozkład tylny jest proporcjonalny do wcześniejszego pomnożonego przez prawdopodobieństwo . Możemy zignorować stałe (tj. Rzeczy, które nie są ), co daje: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Ma to „kształt” rozkładu beta z parametrami i , i wiemy, jaka powinna być odpowiednia stała normalizująca dla rozkładu beta z tymi parametrami: . Lub, jeśli chodzi o funkcje gamma, Innymi słowy, możemy zrobić coś lepszego niż stosunek proporcjonalny bez dodatkowej pracy nóg i przejść od razu do równości: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Można więc wykorzystać wiedzę o strukturze rozkładu beta, aby łatwo odzyskać wyrażenie dla tylnej części ciała, zamiast przechodzić przez niechlujną integrację i tym podobne.

W pewnym sensie dochodzi do pełnego tylnego przez niejawne anulowanie normalizujących stałych rozkładu stawów, co może być mylące.

Wersja jawna

Możesz także rozdrobnić wszystko proceduralnie, co może być jaśniejsze.

To nie jest tak naprawdę dłużej. Zauważ, że możemy wyrazić wspólną dystrybucję jako i rozkład krańcowy as

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Możemy więc wyrazić tylną za pomocą twierdzenia Bayesa przez czyli to samo co poprzednio.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

jtobin
źródło

Uwagi ogólne

Aby uczynić odpowiedź udzieloną przez @ Björna nieco bardziej jednoznaczną, a jednocześnie bardziej ogólną, powinniśmy pamiętać, że doszliśmy do twierdzenia Bayesa z

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes Thereom)

gdzie reprezentuje obserwowane dane i nasz nieznany parametr, o którym chcielibyśmy wnioskować probabilistycznie - w przypadku pytania parametrem jest nieznana częstotliwość . Nie martwmy się na razie, czy mówimy o wektorach czy skalarach, aby uprościć to. $X$ $\theta$ $\pi$

Marginalizacja w ciągłym przypadku prowadzi do

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

gdzie wspólny rozkład jest równy jak widzieliśmy powyżej. Jest to stała, ponieważ po „zintegrowaniu” parametru zależy tylko od stałych warunków . $p(X,\theta)$ $likelihood \times prior$

Dlatego możemy przeformułować twierdzenie Bayesa jako

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ z $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

i w ten sposób dojść do zwykłej formy proporcjonalności w Bayesa twierdzenia .

Zastosowanie do problemu rękę

Teraz jesteśmy gotowi po prostu podłączyć to, co wiemy, ponieważ w przypadku pytania ma formę $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

gdzie , i gdzie zbiera stałe warunki z prawdopodobieństwa dwumianowego i beta wcześniejszy. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Możemy teraz użyć odpowiedzi udzielonej przez @ Björna, aby stwierdzić, że integruje się ona z funkcją Beta razy zbiór stałych pojęć tak że $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Zauważ, że jakikolwiek stały termin we wspólnej dystrybucji zawsze będzie anulowany, ponieważ pojawi się w nominatorze i mianowniku w tym samym czasie (por. Odpowiedź udzielona przez @jtobin), więc naprawdę nie musimy się tym przejmować.

W ten sposób uznajemy, że nasz rozkład tylny jest w rzeczywistości rozkładem beta, w którym możemy po prostu zaktualizować parametry wcześniejszego i aby dotrzeć do tyłu. Właśnie dlatego dystrybuowana wersja beta nazywana jest koniugatem . $a' = a+y$ $b' = b+n-y$

gwr
źródło

To rozumowanie jest podobne do niejawnej wersji jtobin. Patrzymy tylko na te fragmenty czasów wiarygodności, które zawierają parametr i zbieramy wszystko inne w stałej normalizacyjnej. Dlatego patrzymy na integrację tylko jako ostatni, zgodny z prawem krok, ponieważ stałe anulują się, jak pokazał jtobin w swojej wyraźnej wersji.

gwr