Mam kilka prostych pytań koncepcyjnych, które chciałbym wyjaśnić w odniesieniu do MLE (oszacowanie maksymalnego prawdopodobieństwa) i jaki ma związek z EM (maksymalizacja oczekiwań).
Jak rozumiem, jeśli ktoś powie „Użyliśmy MLE”, czy to automatycznie oznacza, że ma wyraźny model pliku PDF swoich danych? Wydaje mi się, że odpowiedź na to pytanie brzmi „tak”. Innymi słowy, jeśli w dowolnym momencie ktoś powie „MLE”, należy zapytać go, jaki plik PDF zakłada. Czy to byłoby poprawne?
Wreszcie, jeśli chodzi o EM, rozumiem, że w EM tak naprawdę nie znamy - ani nie musimy wiedzieć - podstawowego pliku PDF naszych danych. To jest moje zrozumienie.
Dziękuję Ci.
Odpowiedzi:
Metodę MLE można zastosować w przypadkach, gdy ktoś zna podstawową formę funkcjonalną pliku pdf (np. Jest to gaussowski, logarytmiczny normalny, wykładniczy lub cokolwiek innego), ale nie podstawowe parametry; np. nie znają wartości i σ w pliku pdf: f ( x | μ , σ ) = 1μ σ lub jakikolwiek inny typ pdf, który zakładają. Praca metodą MLE jest, aby wybrać najlepsze (czyli najbardziej prawdopodobnych) wartości dla nieznanych parametrów, ze względu na szczególne pomiary danychx1,x2,x3,. . . które faktycznie zaobserwowano. Tak więc, aby odpowiedzieć na pierwsze pytanie, tak, zawsze masz prawo zapytać kogoś, jakąformępdf przyjmują w celu oszacowania maksymalnego prawdopodobieństwa; w rzeczywistości szacunkowe wartości parametrów, które ci mówią, nie mają nawet znaczenia, chyba że najpierw przekażą ten kontekst.
źródło
MLE wymaga znajomości przynajmniej rozkładów krańcowych. Używając MLE, zwykle szacujemy parametry rozkładu połączeń, przyjmując założenie idid, a następnie uwzględniając rozkład połączeń jako iloczyn marginesów, które znamy. Istnieją odmiany, ale taki jest pomysł w większości przypadków. Zatem MLE jest metodą parametryczną.
Algorytm EM to metoda maksymalizacji funkcji prawdopodobieństwa, które pojawiają się jako część algorytmu MLE. Jest często (zwykle?) Stosowany w rozwiązaniach numerycznych.
Ilekroć używamy MLE, potrzebujemy przynajmniej rozkładów krańcowych i pewnych założeń na temat tego, jak połączenie jest powiązane z marginesami (niezależność itp.). Dlatego obie metody opierają się na wiedzy o rozkładach.
źródło