Pomoc w oczekiwaniu Maksymalizacja z papieru: jak uwzględnić wcześniejszą dystrybucję?

9

Pytanie oparte jest na pracy zatytułowanej: Rekonstrukcja obrazu w rozproszonej tomografii optycznej z wykorzystaniem sprzężonego radiacyjnego modelu transportowo-dyfuzyjnego

Link do pobrania

Autorzy stosują algorytm EM z rzadkości nieznanego wektora celu oszacowania pikseli obrazu. Model podaje $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ Oszacowanie podano w równaniu (8) as

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

W moim przypadku uważałem $\mu$ za filtr o długości $L$ a $\mathbf{\mu}$ to wektory $L \times 1$ reprezentujące filtry. Więc,

Model można przepisać jako

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Pytanie: Sformułowanie problemu: ${\mu(n)}$ (n przez 1) to nieobserwowane dane wejściowe, a $\{e(n)\}$ to średnia zero przy nieznanej wariancji $\sigma^2_e$ addytywny hałas. Rozwiązanie MLE będzie oparte na Expectation Maximization (EM).

W pracy Eq (19) jest funkcja $A$ - pełne prawdopodobieństwo logarytmiczne, ale w moim przypadku nie rozumiem, w jaki sposób mogę zawrzeć rozkład $A, \mu$ w pełnym wyrażeniu logarytmicznym.

Jakie będzie całkowite prawdopodobieństwo logarytmiczne przy użyciu EM dla $y$ tym wcześniejszej dystrybucji?

self-study bayesian maximum-likelihood expectation-maximization moving-average SKM
źródło

Czy faktycznie chcesz prawdopodobieństwa dziennika, czy zamiast tego chcesz dziennika-później? Tylko ta ostatnia będzie obejmować przeora Laplaciana. To pierwsze można uzyskać po prostu biorąc dziennik prawdopodobieństwa, który wydaje się, że już

Są dwa wyrażenia, które chcę - (1) Jednym, który zostanie użyty do znalezienia Matrycy Informacji Fishera, a (2) drugim będzie pdf pełnego zestawu danych, który zawiera ukrytą zmienną i obserwacje, które są połączeniem gęstość prawdopodobieństwa obserwowanych danych w funkcji parametru . Plik pdf, który napisałem, dotyczy modelu MA do ślepej oceny . Ale jak będzie inaczej dla ograniczenia rzadkości = wcześniej Laplaciana, aby można było znaleźć Matrycę Informacji Fishera z częściowych pochodnych prawdopodobieństwa logarytmu.

Z

$Z$

θ

$\theta$

θ

$\theta$

SKM,

@ Xi'an: Nie rozumiem, jak podłączyć 3 pliki PDF, które obejmują wcześniejsze w formułowaniu prawdopodobieństwa dziennika. Potrafię wypracować maksymalizację polegającą na przyjęciu pochodnej cząstkowej i zrównaniu zera. Czy możesz podać odpowiedź z wyraźnym wypisanym wyrażeniem prawdopodobieństwa. To naprawdę pomoże

SKM

3

Jeśli uznamy cel za reprezentacja u podstawy EM to dla dowolnego , z powodu rozkładu lub który działa na dowolną wartość (ponieważ nie ma żadnej wartości na lhs ), a zatem działa również na każde oczekiwanie w :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ dla dowolnego warunkowego rozkładu podanego , na przykład . Dlatego jeśli maksymalizujemy w z rozwiązaniem mamy while standardowymi argumentami EM. Dlatego

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ i użycie jako kroku E celu prowadzi do wzrostu tylnej części przy każdym M krok, co oznacza, że zmodyfikowany algorytm EM jest zbieżny z lokalną MAP.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

Xi'an
źródło

Dziękuję za odpowiedź. Czy reprezentuje pdf ? Czy mógłbyś zadać sobie pytanie, dlaczego istnieją 2 oczekiwania z Odejmowane w równaniu wspomnianym w drugim wierszu?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

SKM

Dodałem kilka wyjaśnień, ale powinieneś sprawdzić w podręczniku wyprowadzenie algorytmu EM, ponieważ jest to standardowy materiał.

Xi'an

1

Nie sądzę, aby wykazanie monotonicznego wzrostu log-a posterior (lub logarytmu prawdopodobieństwa dla MLE) było wystarczające do wykazania zbieżności z punktem stacjonarnym oszacowania MAP (lub MLE). Na przykład przyrosty mogą stać się dowolnie małe. W słynnej pracy Wu 1983 wystarczającym warunkiem zbliżenia się do stacjonarnego punktu EM jest różniczkowalność obu argumentów funkcji dolnej granicy.

Jim.Z
źródło

Pomoc w oczekiwaniu Maksymalizacja z papieru: jak uwzględnić wcześniejszą dystrybucję?

Odpowiedzi: