Czy obiektywny estymator maksymalnego prawdopodobieństwa jest zawsze najlepszym obiektywnym estymatorem?

22

Znam regularne problemy, jeśli mamy najlepszy regularny obiektywny estymator, musi to być estymator maksymalnego prawdopodobieństwa (MLE). Ale ogólnie, jeśli mamy obiektywny MLE, czy byłby to również najlepszy obiektywny estymator (a może powinienem nazwać go UMVUE, o ile ma najmniejszą wariancję)?

mathematical-statistics maximum-likelihood unbiased-estimator Gary Cheng
źródło

3

Interesujące pytanie. MLE jest funkcją wystarczającej statystyki, a UMVUE można uzyskać przez warunkowanie kompletnych i wystarczających statystyk. Więc jeśli MLE jest obiektywny (i jest funkcją wystarczającej statystyki), jedynym możliwym sposobem, aby nie miał minimalnej wariancji, jest to, że wystarczająca statystyka nie jest kompletna. Próbowałem znaleźć przykład, ale bezskutecznie.

Greenparker,

2

A oto kilka krótkich informacji o wystarczających i pełnych statystykach.

Richard Hardy

10

Prawdziwym problemem jest to, że MLE rzadko jest bezstronny: jeśli

θ

$\theta$ jest obiektywnym estymatorem

θ

$\theta$ a MLE z

θ

$\theta$ ,

f (\hat{θ})

$f(\hat\theta)$ jest MLE z

f (θ)

$f(\theta)$ ale jest tendencyjny dla większości transformaty bijectywne

f

$f$ .

Xi'an

1

Czy to jest istotne? „Prawie bezstronny estymator populacji oznacza” Vyas Dubey Pt.Ravishankar Shukla University, Raipur, Indie

2

+1 za komentarz Xi'ans. Najlepszy estymator oznacza minimalną wariancję, obiektywny oznacza coś innego. Nie jestem więc pewien, czy możesz zacząć próbować to udowodnić, ponieważ jedno ma niewiele wspólnego z drugim. Ale zanim zacznę moje własne wyprowadzanie, chciałbym zobaczyć poważny wysiłek w (próbie) dowodu. Powiedziałbym, że nawet dowód pierwszego stwierdzenia (MLE jest optymalny w niektórych przypadkach) nie jest trywialny.

cherubin

13

Moim zdaniem pytanie nie jest do końca spójne, ponieważ maksymalizacja prawdopodobieństwa i bezstronności nie daje sobie rady, choćby dlatego, że estymatory maksymalnego prawdopodobieństwa są równoważne , tj. Transformacja estymatora jest estymatorem transformacji parametru, podczas gdy bezstronność nie stoi pod transformacjami nieliniowymi. Dlatego estymatory maksymalnego prawdopodobieństwa prawie nigdy nie są obiektywne, jeśli „prawie” jest brane pod uwagę w zakresie wszystkich możliwych parametryzacji.

Istnieje jednak bardziej bezpośrednia odpowiedź na pytanie: rozważając oszacowanie wariancji normalnej, , UMVUE to podczas gdy MLE z to Ergo, różnią się. To daje do zrozumienia ze $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

jeśli mamy najlepszy regularny obiektywny estymator, musi to być estymator maksymalnego prawdopodobieństwa (MLE).

ogólnie nie obowiązuje.

Zauważ też, że nawet jeśli istnieją obiektywne estymatory parametru , niekoniecznie istnieje najlepszy obiektywny estymator minimalnej wariancji (UNMVUE). $\theta$

Xi'an
źródło

Czy możemy więc powiedzieć, że bezstronny MLE to (U) MVUE, ale nie każdy (U) MVUE to MLE?

Sextus Empiricus

2

Nie, nie mamy powodu, aby sądzić, że jest to ogólnie prawda.

Xi'an

13

Ale ogólnie, jeśli mamy obiektywny MLE, czy byłby to również najlepszy obiektywny estymator?

Jeśli istnieje kompletna wystarczająca statystyka, tak .

Dowód:

Twierdzenie Lehmanna – Scheffé : Najlepszy jest bezstronny estymator, który jest funkcją kompletnej wystarczającej statystyki (UMVUE).
MLE jest funkcją dowolnej wystarczającej statystyki. Patrz 4.2.3 tutaj ;

Zatem bezstronny MLE jest koniecznie najlepszy, o ile istnieje pełna wystarczająca statystyka.

Ale w rzeczywistości ten wynik prawie nie ma zastosowania, ponieważ kompletna wystarczająca statystyka prawie nigdy nie istnieje. Jest tak, ponieważ istnieją kompletne wystarczające statystyki (zasadniczo) tylko dla rodzin wykładniczych, w których MLE jest najczęściej stronniczy (z wyjątkiem parametru lokalizacji Gaussa).

Tak więc prawdziwa odpowiedź brzmi „ nie” .

Ogólny przykład licznik można podać: każda rodzina lokalizacja prawdopodobieństwa ) o symetryczny wokół 0 ( ). W przypadku próbki o rozmiarze zachowane są następujące wartości: $p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLE jest bezstronny
jest zdominowany przez inny obiektywny estymator znany jako estymator ekwiwalentny Pitmana

Najczęściej dominacja jest surowa, dlatego MLE nie jest nawet dopuszczalne. Zostało to udowodnione, gdy to Cauchy, ale myślę, że to ogólny fakt. Zatem MLE nie może być UMVU. W rzeczywistości dla tych rodzin wiadomo, że w łagodnych warunkach nigdy nie ma UMVUE. Przykład został zbadany w tym pytaniu z odniesieniami i kilkoma dowodami. $p$

Benoit Sanchez
źródło

Dlaczego to nie ma najwyższych głosów? Czułem, że ta odpowiedź była lepsza niż odpowiedź Xiana.

Red Floyd

0

Asymptotyczną wariancją MLE jest UMVUE, tj. Osiąga dolną granicę cramer rao, ale wariancja skończona może nie być UMVUE, aby upewnić się, że estymatorem jest UMVUE, powinna być wystarczająca i pełna statystyka lub dowolna funkcja tej statystyki.

serhat simsek
źródło

0

Krótko mówiąc, estymatorem jest UMVUE, jeśli jest on obiektywny i stanowi funkcję pełnej i wystarczającej statystyki. (Zobacz Rao-Blackwell i Scheffe)

creutzml
źródło

Co oznacza, że jest to ograniczone do rodzin wykładniczych.

Xi'an

Czy obiektywny estymator maksymalnego prawdopodobieństwa jest zawsze najlepszym obiektywnym estymatorem?

Odpowiedzi: