Które dystrybucje mają rozwiązania zamknięte dla oszacowania maksymalnego prawdopodobieństwa?

Odpowiedzi:

25

Bez znaczącej utraty ogólności możemy założyć, że gęstość prawdopodobieństwa (lub masa) dla każdej obserwacji (z obserwacji) jest ściśle dodatnia, co pozwala nam zapisać ją jako wykładnicząx i nf(xi)xin

f(xi)=exp(g(xi,θ))

dla wektora parametru .θ=(θj)

Zrównanie gradientu funkcji logarytmu zera do zera (który znajduje stacjonarne punkty prawdopodobieństwa, wśród których będą wszystkie wewnętrzne maksima globalne, jeśli takie istnieją) daje zbiór równań postaci

idg(xi,θ)dθj=0,

po jednym dla każdego . Dla jednego z nich, aby mieć gotowe rozwiązanie, chcielibyśmy, aby móc oddzielić terminy Z kategoriach . (Wszystko wypływa z tego kluczowego pomysłu, motywowanego zasadą lenistwa matematycznego : wykonuj jak najmniej pracy; myśl przed obliczeniami; najpierw rozwiąż proste wersje trudnych problemów.) Najogólniejszym sposobem na zrobienie tego jest zastosowanie równań formularzx i θjxiθ

i(ηj(θ)τj(xi)αj(θ))=ηj(θ)iτj(xi)nαj(θ)

dla znanych funkcji , i , ponieważ wówczas rozwiązanie uzyskuje się przez rozwiązanie równoczesnych równańτ j α jηjτjαj

nαj(θ)ηj(θ)=iτj(xi)

dla . Zasadniczo będą one trudne do rozwiązania, ale pod warunkiem, że zestaw wartości poda pełne informacje o , moglibyśmy po prostu użyj tego wektora zamiast samego (tym samym nieco uogólniając ideę rozwiązania „zamkniętej formy”, ale w bardzo produktywny sposób). W takim przypadku całkowanie w odniesieniu do daje( n α j ( θ )θθθθj(nαj(θ)ηj(θ))θ θθj

g(x,θ)=τj(x)θηj(θ)dθjθαj(θ)dθj+B(x,θj)

(gdzie oznacza wszystkie składniki oprócz ). Ponieważ lewa strona jest funkcjonalnie niezależna od , musimy mieć to dla niektórych stałych funkcji ; że nie może w ogóle zależeć od ; a są pochodnymi niektórych funkcji a są pochodnymi niektórych innych funkcji , oba funkcjonalnie niezależne od danych. Skąd θ θ j θ j τ j ( x ) = T ( x ) T B θ η j H ( θ ) α j A ( θ )θjθθjθjτj(x)=T(x)TBθηjH(θ)αjA(θ)

g(x,θ)=H(θ)T(x)A(θ)+B(x).

Gęstości, które można zapisać w tej formie, składają się na znaną rodzinę Koopman-Pitman-Darmois lub wykładniczą . Zawiera ważne rodziny parametryczne, zarówno ciągłe, jak i dyskretne, w tym gamma, normalne, chi-kwadrat, Poissona, wielomianowe i wiele innych .

Whuber
źródło
A dla tych, którzy nie mają zamkniętych formularzy, moglibyśmy użyć algorytmu EM. Rozważmy na przykład naddeptany model Poissona
Damien
0

Nie wiem, czy mógłbym wymienić je wszystkie. Przychodzą mi na myśl wykładnicze, normalne i dwumianowe i wszystkie należą do klasy rodzin wykładniczych. Rodzina wykładnicza ma wystarczającą statystykę w wykładniku, a mle jest często miłą funkcją tej wystarczającej statystyki.

Michael R. Chernick
źródło
8
To pytanie jest niezwykle szerokie, ale wydaje się, że OP może pytać, co charakteryzuje dystrybucję, która ma zamknięte rozwiązanie dla MLE, zamiast prosić o wyczerpującą listę. W każdym razie wyczerpująca lista nie jest nawet możliwa.
Makro
2
Nie zawsze jest to „ładna funkcja”, na przykład wystarczająca statystyka rozkładu beta wynosi , z których wymagane są metody numeryczne do znalezienia parametrów kształtu i . a b[logxlog(1-x)]T.zab
Neil G
Thnaks Neil za zwrócenie na to uwagi. Chyba nie wszystkie wykładnicze rodziny dystrybucji mają zamknięte rozwiązania.
Michael R. Chernick,