Zadano mi to pytanie pewnego dnia i nigdy wcześniej go nie rozważałem.
Moja intuicja wynika z zalet każdego estymatora. Maksymalne prawdopodobieństwo występuje najlepiej, gdy jesteśmy pewni procesu generowania danych, ponieważ w przeciwieństwie do metody momentów wykorzystuje wiedzę o całej dystrybucji. Ponieważ estymatory MoM wykorzystują tylko informacje zawarte w momentach, wydaje się, że dwie metody powinny dawać te same oszacowania, gdy wystarczające statystyki dla parametru, który próbujemy oszacować, są dokładnie momentami danych.
Sprawdziłem ten wynik z kilkoma dystrybucjami. Normalne (nieznana średnia i wariancja), wykładnicze i Poissona mają wystarczającą statystykę równą ich momentom i mają takie same MLE i estymatory MoM (nie do końca prawdziwe w przypadku rzeczy takich jak Poisson, gdzie istnieje wiele estymatorów MoM). Jeśli spojrzymy na Uniform , wystarczająca statystyka dla wynosi a estymatory MoM i MLE są różne.
Pomyślałem, że może to dziwactwo wykładniczej rodziny, ale dla Laplace'a ze znaną średnią wystarczająca statystyka wynosi a MLE i estymator MoM dla wariancji nie są równe.
Jak dotąd nie byłem w stanie pokazać żadnego wyniku. Czy ktoś wie o ogólnych warunkach? A nawet kontrprzykład pomoże mi dopracować intuicję.
Odpowiedzi:
Ogólna odpowiedź jest taka, że estymator oparty na metodzie momentów nie jest niezmienny przez bipiektywną zmianę parametryzacji, podczas gdy estymator maksymalnego prawdopodobieństwa jest niezmienny. Dlatego prawie nigdy się nie pokrywają. (Prawie nigdy we wszystkich możliwych transformacjach.)
Właściwie bardziej odpowiednim sposobem sformułowania pytania byłoby pytanie, kiedy estymator momentu jest wystarczający, ale to wymusza rozkład danych z wykładniczej rodziny, przez lemat Pitmana-Koopmana, przypadek, gdy odpowiedź jest już znany.
źródło