Algorytm EM Praktyka Problem

9

Jest to problem praktyczny podczas egzaminu śródokresowego. Problemem jest przykład algorytmu EM. Mam problem z częścią (f). Podaję części (a) - (e) do uzupełnienia i na wypadek, gdyby wcześniej popełniłem błąd.

Niech będą niezależnymi wykładniczymi zmiennymi losowymi o współczynniku . Niestety rzeczywiste wartości nie są przestrzegane i obserwujemy tylko, czy wartości mieszczą się w określonych przedziałach. Niech , i dla . Obserwowane dane obejmują .X1,,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2}G3j=1{Xj>2}j=1,,n(G1j,G2j,G3j)

(a) Podać zaobserwowane prawdopodobieństwo danych:

L(θ|G)=j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=j=1n(1eθ)G1j(eθe2θ)G2j(e2θ)G3j

(b) Podaj pełne prawdopodobieństwo danych

L(θ|X,G)=j=1n(θeθxj)G1j(θeθxj)G2j(θeθxj)G3j

(c) Wyznacz gęstość predykcyjną zmiennej utajonejf(xj|G,θ)

f(xj|G,θ)=fX,G(xj,g)fG(g)=θeθxj1{xjregion r s.t. Grj=1}(1eθ)g1j(eθe2θ)g2j(e2θ)g3j

(d) E-krok. Podaj funkcjęQ(θ,θi)

Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθe2θ)N3loge2θ=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθ(1eθ))+2θN3=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3

gdzieN1=j=1ng1j,N2=j=1ng2j,N3=j=1ng3j

(e) Podaj wyrażenia dla dla .E[Xj|Grj=1,θi]r=1,2,3

Wymienię moje wyniki, które jestem pewien, że są słuszne, ale pochodne byłyby nieco długie dla tego i tak długiego pytania:

E[Xj|G1j=1,θi]=(11eθi)(1θieθi(1+1/θi))E[Xj|G2j=1,θi]=(1eθie2θi)(eθi(1+1/θi)e2θi(2+1/θi))E[Xj|G3j=1,θi]=(1e2θi)(e2θi(2+1/θi))

Oto część, na której utknąłem i może to wynikać z wcześniejszego błędu:

(f) M-Step. Znajdź która maksymalizujeθQ(θ,θi)

Zgodnie z prawem całkowitego oczekiwania mamy PrzetoE[Xj|G,θi]=(1θieθi(1+1/θi))+(eθi(1+1/θi)e2θi(2+1/θi))+(e2θi(2+1/θi))=1/θi

Q(θ,θja)=nlogθ-θjot=1nmi[Xjot|sol,θja]-N.1log(1-mi-θ)+θN.2)-N.2)log(1-mi-θ)+2)θN.3)=nlogθ-θnθja-N.1log(1-mi-θ)+θN.2)-N.2)log(1-mi-θ)+2)θN.3)Q(θ,θja)θ=nθ-nθja-(N.1+N.2))mi-θ1-mi-θ+N.2)+2)N.3)

Następnie powinienem ustawić tę wartość na zero i rozwiązać dla , ale próbowałem tego przez bardzo długi czas i wydaje się, że nie mogę rozwiązać dla !θθ

bdeonovic
źródło
Przez minutę interpretowałem jako moc . Najbardziej mylące. Zwykle numer iteracji (numer kroku) umieszczany jest w nawiasach lub w nawiasach , aby nie był mylony z -tą potęgą . Prawdopodobnie najlepiej przynajmniej powiedzieć, że o to właśnie chodzi (zakładając, że mam rację). θjaθ[ja](ja)θ(ja)jaθja
Glen_b
1
Tak Glen, przepraszam, to rzeczywiście th iteracji algorytmu EM. ja
bdeonovic

Odpowiedzi:

5

Pełne prawdopodobieństwo danych nie powinno obejmować G! Powinno być po prostu prawdopodobieństwo gdy są wykładnicze. Zauważ, że pełne prawdopodobieństwo danych w takim stanie, w jakim je zapisałeś, upraszcza się do prawdopodobieństwa wykładniczego, ponieważ tylko jeden z może wynosić 1. Pozostawienie na pełnym prawdopodobieństwie danych, jednak, zadziwia cię później. θXsolrjotsol

W części d) należy przyjąć oczekiwanie pełnego prawdopodobieństwa dziennika danych, a nie obserwowanego prawdopodobieństwa dziennika danych.

Nie powinieneś także stosować prawa całkowitego oczekiwania! Pamiętaj, że G jest obserwowane i nie jest losowe, dlatego powinieneś wykonywać tylko jedną z tych warunkowych oczekiwań dla każdego . Po prostu zastąp to warunkowe oczekiwanie terminem a następnie wykonaj krok M.XjotXjot(ja)

jsk
źródło
@Benjamin Jak nadchodzi problem? Czy mogłem pomóc ci zrozumieć, jak to zrobić?
jsk
Dzięki za komentarze @jsk. Byłem zmęczony ostatniej nocy, więc
położyłem
Myślę, że to rozgryzłem! Jeszcze raz dziękuję! To było właśnie w przygotowaniu do finału, który mam dzisiaj, więc naprawdę pomogło wyjaśnić kilka rzeczy na temat EM.
bdeonovic
Nie ma za co. Mam nadzieję, że Twój finał dobrze się dziś skończy!
jsk
4

Na podstawie komentarzy @ jsk postaram się naprawić moje błędy:

L.(θ|X,sol)=jot=1nθmi-θxjot

Q(θ,θja)=nlogθ-θjot=1nmi[Xjot|sol,θja]=nlogθ-θ(jot=1nsol1jot1-mi-θja)(1θja-mi-θja(1+1/θja))-θ(jot=1nsol2)jotmi-θja(1-mi-θja))(mi-θja(1+1/θja)-mi-2)θja(2)+1/θja))-θ(jot=1nsol3)jotmi-2)θja)(mi-2)θja(2)+1/θja))=nlogθ-θN.1ZA-θN.2)b-θN.3)doQ(θ,θja)θ=nθ-N.1ZA-N.2)b-N.3)do=smit0

rozwiązując dla otrzymujemyθθ(ja+1)=nN.1ZA+N.2)b+N.3)do

bdeonovic
źródło