MLE vs najmniejsze kwadraty w dopasowywanych rozkładach prawdopodobieństwa

18

Mam wrażenie, że na podstawie kilku artykułów, książek i artykułów, które przeczytałem, zalecanym sposobem dopasowania rozkładu prawdopodobieństwa na zbiorze danych jest oszacowanie maksymalnego prawdopodobieństwa (MLE). Jednak jako fizyk bardziej intuicyjny sposób polega na dopasowaniu pdf modelu do empirycznego pdf danych przy użyciu najmniejszych kwadratów. Dlaczego zatem MLE jest lepszy od najmniejszych kwadratów w dopasowywaniu rozkładów prawdopodobieństwa? Czy ktoś mógłby wskazać mi artykuł naukowy / książkę, która odpowiada na to pytanie?

Mam przeczucie, że MLE nie zakłada modelu szumu, a „szum” w empirycznym pliku pdf jest heteroscedastyczny i nie jest normalny.

Christian Alis
źródło

Odpowiedzi:

2

Jednym z użytecznych sposobów myślenia na ten temat jest zauważenie, że zdarzają się przypadki, gdy najmniejsze kwadraty i MLE są takie same, np. Oszacowanie parametrów, w których losowy element ma rozkład normalny. Tak więc, zamiast (jak spekulujesz), że MLE nie zakłada modelu hałasu, chodzi o to, że zakłada on, że występuje przypadkowy hałas, ale przyjmuje bardziej wyrafinowany obraz tego, jak to jest ukształtowane, niż zakładając ma rozkład normalny.

Każda książka na temat wnioskowania statystycznego będzie zajmować się ładnymi właściwościami MLE pod względem wydajności i spójności (ale niekoniecznie stronniczości). MLE mają również tę zaletę, że są asymptotycznie normalni w rozsądnych warunkach.

Peter Ellis
źródło
rozumiem przez to, że „nie zakładam losowego modelu hałasu”, że nie zakłada on, że hałas ma określony rozkład, np. normalny. Czy mógłbyś wskazać książkę omawiającą oszacowanie parametrów poprzez dopasowanie pliku PDF przy użyciu najmniejszych kwadratów? W książkach, które znalazłem, omawiam tylko MLE (a czasem metodę chwil).
Christian Alis
Aby dopasować MLE, nadal musisz założyć określony rozkład, ale masz szerszy wybór niż tylko normalny. Aby wybrać pierwszą dostępną książkę, która omawia te dwie, mam Garthwaite, Jolliffe i Jones Statistics Inference (całkiem standardowa książka tekstowa z drugiego roku), która omawia najmniejsze kwadraty, a także metodę momentów i metodę minimalnego kwadratu Chi jako alternatywy do MLEs.
Peter Ellis