Kiedy maksymalne prawdopodobieństwo i metoda momentów dają te same estymatory?

17

Zadano mi to pytanie pewnego dnia i nigdy wcześniej go nie rozważałem.

Moja intuicja wynika z zalet każdego estymatora. Maksymalne prawdopodobieństwo występuje najlepiej, gdy jesteśmy pewni procesu generowania danych, ponieważ w przeciwieństwie do metody momentów wykorzystuje wiedzę o całej dystrybucji. Ponieważ estymatory MoM wykorzystują tylko informacje zawarte w momentach, wydaje się, że dwie metody powinny dawać te same oszacowania, gdy wystarczające statystyki dla parametru, który próbujemy oszacować, są dokładnie momentami danych.

Sprawdziłem ten wynik z kilkoma dystrybucjami. Normalne (nieznana średnia i wariancja), wykładnicze i Poissona mają wystarczającą statystykę równą ich momentom i mają takie same MLE i estymatory MoM (nie do końca prawdziwe w przypadku rzeczy takich jak Poisson, gdzie istnieje wiele estymatorów MoM). Jeśli spojrzymy na Uniform (0,θ) , wystarczająca statystyka dla θ wynosi max(X1,,XN) a estymatory MoM i MLE są różne.

Pomyślałem, że może to dziwactwo wykładniczej rodziny, ale dla Laplace'a ze znaną średnią wystarczająca statystyka wynosi 1n|Xi|a MLE i estymator MoM dla wariancji nie są równe.

Jak dotąd nie byłem w stanie pokazać żadnego wyniku. Czy ktoś wie o ogólnych warunkach? A nawet kontrprzykład pomoże mi dopracować intuicję.

Do góry
źródło
4
MM i MLE pokrywają się dla parametru kanonicznego w rodzinach wykładniczych. Ale dokonanie transformacji oznaczałoby na ogół utratę tej równoważności (jak sugeruje również odpowiedź Xi'ana).
hejseb

Odpowiedzi:

16

Ogólna odpowiedź jest taka, że ​​estymator oparty na metodzie momentów nie jest niezmienny przez bipiektywną zmianę parametryzacji, podczas gdy estymator maksymalnego prawdopodobieństwa jest niezmienny. Dlatego prawie nigdy się nie pokrywają. (Prawie nigdy we wszystkich możliwych transformacjach.)

F^F

Właściwie bardziej odpowiednim sposobem sformułowania pytania byłoby pytanie, kiedy estymator momentu jest wystarczający, ale to wymusza rozkład danych z wykładniczej rodziny, przez lemat Pitmana-Koopmana, przypadek, gdy odpowiedź jest już znany.

Uwaga: W rozkładzie Laplace'a, gdy znana jest średnia, problem jest równoznaczny z obserwowaniem wartości bezwzględnych, które są następnie zmiennymi wykładniczymi i stanowią część rodziny wykładniczej.

Xi'an
źródło
1
Czy ogólnie istnieje parametryzacja, dla której MM i MLE są równe?
góry
1
W przypadku rodzin wykładniczych średnia parametryzacja prowadzi do równości. Poza rodzinami wykładniczymi nie jestem tego taki pewien.
Xi'an