Intuicyjne rozumowanie stojące za stronniczymi estymatorami największej wiarygodności

Mam wątpliwości co do stronniczości estymatorów maksymalnego prawdopodobieństwa (ML). Matematyka całej koncepcji jest dla mnie dość jasna, ale nie mogę zrozumieć intuicyjnego uzasadnienia.

Biorąc pod uwagę pewien zestaw danych, który zawiera próbki z rozkładu, który sam jest funkcją parametru, który chcemy oszacować, estymator ML daje wartość parametru, który najprawdopodobniej wygeneruje zestaw danych.

Nie mogę intuicyjnie zrozumieć stronniczego estymatora ML w tym sensie, że: w jaki sposób najbardziej prawdopodobna wartość parametru może przewidzieć rzeczywistą wartość parametru z odchyleniem w kierunku niewłaściwej wartości?

estymator ML daje wartość parametru, który najprawdopodobniej wystąpi w zbiorze danych.

Biorąc pod uwagę założenia, estymator ML jest wartością parametru, który ma największą szansę na wygenerowanie zestawu danych.

Nie mogę intuicyjnie zrozumieć stronniczego estymatora ML w tym sensie, że „w jaki sposób najbardziej prawdopodobna wartość parametru może przewidzieć rzeczywistą wartość parametru z odchyleniem w kierunku niewłaściwej wartości?”

Odchylenie dotyczy oczekiwań dotyczących rozkładu próbkowania. „Najprawdopodobniej wygeneruje dane” nie dotyczy oczekiwań rozkładów próbkowania. Dlaczego mieliby iść razem?

Na jakiej podstawie jest zaskakujące, że niekoniecznie odpowiadają?

Sugeruję rozważenie kilku prostych przypadków MLE i zastanowienie się, jak powstaje różnica w tych konkretnych przypadkach.

Jako przykład rozważ obserwacje munduru na . Największa obserwacja nie jest (koniecznie) większa niż parametr, więc parametr może przyjmować wartości co najmniej tak duże, jak największa obserwacja.$(0,\theta)$

Kiedy weźmiesz pod uwagę prawdopodobieństwo , jest ono (oczywiście) większe, im bliżejnajwiększej obserwacji jest θ . Jest więc maksymalizowanyprzynajwiększej obserwacji; to wyraźnie szacunek dla θ, który maksymalizuje szansę na uzyskanie próbki, którą otrzymałeś:$\theta$$\theta$$\theta$

Ale z drugiej strony musi to być stronnicze, ponieważ największa obserwacja jest oczywiście (z prawdopodobieństwem 1) mniejsza niż prawdziwa wartość ; wszelkie inne szacunki $\theta$$\theta$ nie zostały jeszcze wykluczone przez samą próbkę, muszą być od niej większe i muszą (w tym przypadku całkiem wyraźnie) być mniej prawdopodobne, że wytworzą próbkę.

Oczekiwanie największej obserwacji z wynosi$U(0,\theta)$ , więc zwykłym sposobem na rozpakowanie jest przyjęcie estymatoraθ:$\frac{n}{n+1}$$\theta$ , gdzie X ( n ) jest największą obserwacją.$\hat\theta=\frac{n+1}{n}X_{(n)}$$X_{(n)}$

To leży na prawo od MLE, a więc ma mniejsze prawdopodobieństwo.

$\beta^{MLE}$$\beta$$\beta$$\beta^{MLE}$

MLE jest tylko asymptotycznie bezstronny i często można dostosować estymator, aby lepiej zachowywał się w próbkach skończonych. Na przykład MLE wariancji zmiennej losowej jest jednym przykładem, w którym pomnożone przez$\frac{N}{N-1}$ to przekształca.

Oto moja intuicja.

Odchylenie jest miarą dokładności , ale istnieje również pojęcie precyzji .

W idealnym świecie otrzymalibyśmy oszacowanie, które jest zarówno precyzyjne, jak i dokładne, tj. Zawsze trafia w dziesiątkę. Niestety w naszym niedoskonałym świecie musimy zrównoważyć dokładność i precyzję. Czasami możemy czuć, że możemy dać trochę dokładności, aby uzyskać większą precyzję: cały czas się kompromisujemy. Stąd fakt, że estymator jest stronniczy, nie oznacza, że ​​jest zły: może być bardziej precyzyjny.