Które rozkłady mają rozwiązania zamknięte dla maksymalnego prawdopodobieństwa oszacowania parametrów z próby niezależnych obserwacji?
źródło
Które rozkłady mają rozwiązania zamknięte dla maksymalnego prawdopodobieństwa oszacowania parametrów z próby niezależnych obserwacji?
Bez znaczącej utraty ogólności możemy założyć, że gęstość prawdopodobieństwa (lub masa) dla każdej obserwacji (z obserwacji) jest ściśle dodatnia, co pozwala nam zapisać ją jako wykładnicząx i n
dla wektora parametru .
Zrównanie gradientu funkcji logarytmu zera do zera (który znajduje stacjonarne punkty prawdopodobieństwa, wśród których będą wszystkie wewnętrzne maksima globalne, jeśli takie istnieją) daje zbiór równań postaci
po jednym dla każdego . Dla jednego z nich, aby mieć gotowe rozwiązanie, chcielibyśmy, aby móc oddzielić terminy Z kategoriach . (Wszystko wypływa z tego kluczowego pomysłu, motywowanego zasadą lenistwa matematycznego : wykonuj jak najmniej pracy; myśl przed obliczeniami; najpierw rozwiąż proste wersje trudnych problemów.) Najogólniejszym sposobem na zrobienie tego jest zastosowanie równań formularzx i θ
dla znanych funkcji , i , ponieważ wówczas rozwiązanie uzyskuje się przez rozwiązanie równoczesnych równańτ j α j
dla . Zasadniczo będą one trudne do rozwiązania, ale pod warunkiem, że zestaw wartości poda pełne informacje o , moglibyśmy po prostu użyj tego wektora zamiast samego (tym samym nieco uogólniając ideę rozwiązania „zamkniętej formy”, ale w bardzo produktywny sposób). W takim przypadku całkowanie w odniesieniu do daje( n α j ( θ )θθθj
(gdzie oznacza wszystkie składniki oprócz ). Ponieważ lewa strona jest funkcjonalnie niezależna od , musimy mieć to dla niektórych stałych funkcji ; że nie może w ogóle zależeć od ; a są pochodnymi niektórych funkcji a są pochodnymi niektórych innych funkcji , oba funkcjonalnie niezależne od danych. Skąd θ θ j θ j τ j ( x ) = T ( x ) T B θ η j H ( θ ) α j A ( θ )
Gęstości, które można zapisać w tej formie, składają się na znaną rodzinę Koopman-Pitman-Darmois lub wykładniczą . Zawiera ważne rodziny parametryczne, zarówno ciągłe, jak i dyskretne, w tym gamma, normalne, chi-kwadrat, Poissona, wielomianowe i wiele innych .
Nie wiem, czy mógłbym wymienić je wszystkie. Przychodzą mi na myśl wykładnicze, normalne i dwumianowe i wszystkie należą do klasy rodzin wykładniczych. Rodzina wykładnicza ma wystarczającą statystykę w wykładniku, a mle jest często miłą funkcją tej wystarczającej statystyki.
źródło