Jest to problem praktyczny podczas egzaminu śródokresowego. Problemem jest przykład algorytmu EM. Mam problem z częścią (f). Podaję części (a) - (e) do uzupełnienia i na wypadek, gdyby wcześniej popełniłem błąd.
Niech będą niezależnymi wykładniczymi zmiennymi losowymi o współczynniku . Niestety rzeczywiste wartości nie są przestrzegane i obserwujemy tylko, czy wartości mieszczą się w określonych przedziałach. Niech , i dla . Obserwowane dane obejmują .X1,…,XnθXXsol1 j= 1 {Xjot< 1 }sol2 j= 1 { 1 <Xjot< 2 }sol3 j= 1 {Xjot> 2 }j = 1 , … , n(sol1 j,sol2 j,sol3 j)
(a) Podać zaobserwowane prawdopodobieństwo danych:
L ( θ | G )=∏j = 1nPar{Xjot< 1 }sol1 jPar{ 1 <Xjot< 2 }sol2 jPar{Xjot> 2 }sol3 j=∏j = 1n( 1 -mi- θ)sol1 j(mi- θ-mi- 2 θ)sol2 j(mi- 2 θ)sol3 j
(b) Podaj pełne prawdopodobieństwo danych
L ( θ | X, G )=∏j = 1n( θmi- θxjot)sol1 j( θmi- θxjot)sol2 j( θmi- θxjot)sol3 j
(c) Wyznacz gęstość predykcyjną zmiennej utajonejfa(xjot| G,θ)
fa(xjot| G,θ)=faX, G(xjot, g)fasol( g)=θmi- θxjot1 {xjot∈ region r st solr j= 1 }( 1 -mi- θ)sol1 j(mi- θ-mi- 2 θ)sol2 j(mi- 2 θ)sol3 j
(d) E-krok. Podaj funkcjęQ ( θ ,θja)
Q ( θ ,θja)=miX| G,θja[ logfa( x | G , θ ) ]= n logθ -θ∑j = 1nE [Xjot| G,θja] -N.1log( 1 -mi- θ) -N.2)log(mi- θ-mi- 2 θ) -N.3)logmi- 2 θ= n logθ -θ∑j = 1nE [Xjot| G,θja] -N.1log( 1 -mi- θ) -N.2)log(mi- θ( 1 -mi- θ) ) +2θN.3)= n logθ -θ∑j = 1nE [Xjot| G,θja] -N.1log( 1 -mi- θ) +θN.2)-N.2)log( 1 -mi- θ) +2θN.3)
gdzieN.1=∑nj = 1sol1 j,N.2)=∑nj = 1sol2 j,N.3)=∑nj = 1sol3 j
(e) Podaj wyrażenia dla dla .E [Xjot|solr j= 1 ,θja]r = 1 , 2 , 3
Wymienię moje wyniki, które jestem pewien, że są słuszne, ale pochodne byłyby nieco długie dla tego i tak długiego pytania:
E [Xjot|sol1 j= 1 ,θja]E [Xjot|sol2 j= 1 ,θja]E [Xjot|sol3 j= 1 ,θja]= (11 -mi-θja) (1θja-mi-θja( 1 + 1/θja) )= (1mi-θja-mi- 2θja)(mi-θja( 1 + 1 /θja) -mi- 2θja( 2 + 1 /θja) )= (1mi- 2θja)(mi- 2θja( 2 + 1 /θja) )
Oto część, na której utknąłem i może to wynikać z wcześniejszego błędu:
(f) M-Step. Znajdź która maksymalizujeθQ ( θ,θja)
Zgodnie z prawem całkowitego oczekiwania mamy
Przetomi[Xjot| sol ,θja]= (1θja-mi-θja( 1 + 1 /θja) ) + (mi-θja( 1 + 1 /θja) -mi- 2θja( 2 + 1 /θja) ) + (mi- 2θja( 2 + 1 /θja) )= 1 /θja
Q ( θ,θja)∂Q ( θ ,θja)∂θ= n logθ -θ∑j = 1nE [Xjot| G,θja] -N.1log( 1 -mi- θ) +θN.2)-N.2)log( 1 -mi- θ) +2θN.3)= n logθ -θnθja-N.1log( 1 -mi- θ) +θN.2)-N.2)log( 1 -mi- θ) +2θN.3)=nθ-nθja-(N.1+N.2))mi- θ1 -mi- θ+N.2)+ 2N.3)
Następnie powinienem ustawić tę wartość na zero i rozwiązać dla , ale próbowałem tego przez bardzo długi czas i wydaje się, że nie mogę rozwiązać dla !θθ
Odpowiedzi:
Pełne prawdopodobieństwo danych nie powinno obejmować G! Powinno być po prostu prawdopodobieństwo gdy są wykładnicze. Zauważ, że pełne prawdopodobieństwo danych w takim stanie, w jakim je zapisałeś, upraszcza się do prawdopodobieństwa wykładniczego, ponieważ tylko jeden z może wynosić 1. Pozostawienie na pełnym prawdopodobieństwie danych, jednak, zadziwia cię później.θ X solr j sol
W części d) należy przyjąć oczekiwanie pełnego prawdopodobieństwa dziennika danych, a nie obserwowanego prawdopodobieństwa dziennika danych.
Nie powinieneś także stosować prawa całkowitego oczekiwania! Pamiętaj, że G jest obserwowane i nie jest losowe, dlatego powinieneś wykonywać tylko jedną z tych warunkowych oczekiwań dla każdego . Po prostu zastąp to warunkowe oczekiwanie terminem a następnie wykonaj krok M.Xjot X( i )jot
źródło
Na podstawie komentarzy @ jsk postaram się naprawić moje błędy:
rozwiązując dla otrzymujemyθ θ( i + 1 )=nN.1A +N.2)B +N.3)do
źródło