Wygładzanie Laplace'a i Dirichleta wcześniej

11

W artykule na Wikipedii o wygładzaniu Laplace'a (lub wygładzaniu addytywnym) mówi się, że z bayesowskiego punktu widzenia

odpowiada to oczekiwanej wartości rozkładu tylnego przy użyciu symetrycznego rozkładu Dirichleta z parametrem jako wcześniejszym. $\alpha$

Zastanawiam się, jak to w rzeczywistości jest prawdą. Czy ktoś mógłby mi pomóc zrozumieć, w jaki sposób te dwie rzeczy są równoważne?

Dzięki!

bayesian smoothing dirichlet-distribution laplace-smoothing DanielX2010
źródło

10

Pewnie. Jest to zasadniczo spostrzeżenie, że rozkład Dirichleta jest sprzężony przed rozkładem wielomianowym. Oznacza to, że mają taką samą funkcjonalną formę. Artykuł wspomina o tym, ale podkreślę, że wynika to z modelu wielomianowego próbkowania. Przejdźmy do tego ...

Obserwacja dotyczy tylnej części ciała, więc wprowadźmy pewne dane , które są liczbami różnych pozycji. Obserwujemy łącznie próbek. Zakładamy, że jest pobierany z nieznanej dystrybucji (na której umieścimy przed simplex). $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

Prawdopodobieństwo późniejsze podanego i danych wynosi $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

Prawdopodobieństwo, , jest rozkładem wielomianowym. Teraz napiszmy pdf: $p(x|\pi)$

p (x | π) = \frac{N.!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

i

p (π | α) = \frac{1}{b (α)} \prod_{ja = 1}^{K.} π_{ja}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

gdzie . Mnożąc, widzimy, że $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

Innymi słowy, tylnym jest również Dirichlet. Pytanie dotyczyło środka pośrodku. Ponieważ tylnym jest Dirichlet, możemy zastosować wzór na średnią Dirichleta, aby to ustalić,

mi [π_{ja} | α, x] = \frac{x_{ja} + α}{N. + K. α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

Mam nadzieję że to pomoże!

tak
źródło

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ więc nie jest błędem powiedzieć, żeSą proporcjonalne w stosunku do , ale myślę, że pisanie równości nie jest prawdą.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

michal

Przez długi czas byłem zdezorientowany i chcę podzielić się swoją realizacją. Ci ludzie motywujący wygładzanie Laplace'a przez Dirichleta używają średniej tylnej, a nie MAP. Dla uproszczenia załóżmy, że rozkład beta (najprostszy przypadek Dirichleta) Średnia tylna to podczas gdy MAP to . Więc jeśli ktoś powie, że odpowiada dodaniu 1 do licznika i 2 do mianownika, to dlatego, że używa średniej tylnej.

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

RMurphy

0

Na marginesie, chciałbym również dodać kolejny punkt do powyższej pochodnej, który tak naprawdę nie dotyczy głównego pytania. Mówiąc jednak o priory Dirichleta o rozkładzie wielomianowym, pomyślałem, że warto wspomnieć, jaka byłaby forma funkcji prawdopodobieństwa, gdybyśmy przyjmowali prawdopodobieństwa za zmienne uciążliwe.

Jak słusznie wskazuje sydeulissie, jest proporcjonalne do . Teraz chciałbym obliczyć . $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{ja = 1}^{K.} p (x | π_{ja}, α) p (π | α) re π_{1} re π_{2)} . . . re π_{K.}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

Używając integralnej tożsamości dla funkcji gamma, mamy:

p (x | α) = \frac{Γ (K. α)}{Γ (N. + K. α)} \prod_{ja = 1}^{K.} \frac{Γ (x_{ja} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

Powyższe wyprowadzenie prawdopodobieństwa dla danych kategorycznych proponuje bardziej niezawodny sposób radzenia sobie z tymi danymi w przypadkach, gdy wielkość próby nie jest wystarczająco duża. $N$

omidi
źródło

Wygładzanie Laplace'a i Dirichleta wcześniej

Odpowiedzi: