Czy istnieje przykład, w którym MLE daje stronnicze oszacowanie średniej?

Czy możesz podać przykład estymatora MLE średniej stronniczości?

Nie szukam przykładu, który ogólnie łamie estymatory MLE, naruszając warunki regularności.

Wszystkie przykłady, które widzę w Internecie, odnoszą się do wariancji i nie mogę znaleźć niczego związanego ze średnią.

EDYTOWAĆ

@MichaelHardy podał przykład, w którym otrzymujemy tendencyjne oszacowanie średniej rozkładu jednolitego przy użyciu MLE w ramach określonego proponowanego modelu.

jednak

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

sugeruje, że MLE jest jednakowo minimalnym obiektywnym estymatorem średniej, wyraźnie w innym proponowanym modelu.

W tym momencie nadal nie jest dla mnie bardzo jasne, co oznacza estymacja MLE, jeśli jest ona bardzo hipotetycznie zależna od modelu, w przeciwieństwie do estymatora średniej próby, który jest neutralny dla modelu. Na koniec jestem zainteresowany oszacowaniem czegoś na temat populacji i tak naprawdę nie obchodzi mnie oszacowanie parametru modelu hipotetycznego.

EDYCJA 2

Jak @ChristophHanck pokazał model z dodatkowymi informacjami wprowadzonymi uprzedzeniami, ale nie udało się zmniejszyć MSE.

Mamy również dodatkowe wyniki:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (slajd 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (slajd 5)

„Jeśli istnieje najbardziej wydajny obiektywny estymator ˆθ z ((tj. ˆΘ jest obiektywny, a jego wariancja jest równa CRLB), metoda szacowania przy maksymalnym prawdopodobieństwie go wytworzy”.

„Ponadto, jeśli istnieje skuteczny estymator, jest to estymator ML”.

Ponieważ MLE z parametrami modelu swobodnego jest obiektywny i wydajny, to z definicji jest to „Estymator maksymalnego prawdopodobieństwa?

EDYCJA 3

@AlecosPapadopoulos ma przykład z rozkładem Half Normal na forum matematycznym.

/math/799954/can-the-maximum-likelihood-estimator-be-unnośne-and-fail-to-achieve-cramer-rao

Nie zakotwicza żadnego z jego parametrów, jak w przypadku jednolitym. Powiedziałbym, że to załatwia sprawę, chociaż nie wykazał stronniczości przeciętnego estymatora.

Christoph Hanck nie opublikował szczegółów swojego proponowanego przykładu. Rozumiem, że oznacza rozkład równomierny w przedziale $[0,\theta],$ na podstawie próbki Iid $X_1,\ldots,X_n$ o wielkości większej niż $n=1.$

Średnia to $\theta/2$ .

Średnia MLE to $\max\{X_1,\ldots,X_n\}/2.$

Jest to tendencyjne, ponieważ więc E ( max / 2 ) < θ /$\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

PS: Być może powinniśmy zauważyć, że najlepszym obiektywnym estymatorem średniej nie jest średnia z próby, ale raczej n + $\theta/2$Średnia próbki jest kiepskim estymatoremθ/2,ponieważ dla niektórych próbek średnia próbki jest mniejsza niż

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$i to oczywiście możliwe dlaθ/2powinna być mniejsza odmaksymalnego/2koniec PS$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

Podejrzewam, że dystrybucja Pareto to kolejny taki przypadek. Oto miara prawdopodobieństwa: Oczekiwana wartość to

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ MLE oczekiwanej wartości wynosi $\dfrac \alpha {\alpha -1 } \kappa.$ gdziemin=min{X1,…,Xn} $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

Nie opracowałem oczekiwanej wartości MLE dla średniej, więc nie wiem, jaka jest jej stronniczość.

Oto przykład, który moim zdaniem może zaskoczyć:

W regresji logistycznej dla dowolnej skończonej wielkości próby z wynikami niedeterministycznymi (tj. $0 < p_{i} < 1$ ), każdy oszacowany współczynnik regresji jest nie tylko tendencyjny, średnia współczynnika regresji jest w rzeczywistości nieokreślona.

Wynika to z faktu, że dla dowolnej skończonej wielkości próbki istnieje dodatnie prawdopodobieństwo (choć bardzo małe, jeśli liczba próbek jest duża w porównaniu z liczbą parametrów regresji) uzyskania idealnego rozdziału wyników. Kiedy tak się stanie, szacowane współczynniki regresji będą wynosić lub ∞ . Mając dodatnie prawdopodobieństwo bycia - ∞ lub $-\infty$$\infty$$-\infty$$\infty$ oznacza, że ​​oczekiwana wartość jest niezdefiniowana.

Aby uzyskać więcej informacji na ten temat, zobacz efekt Haucka-Donnera .

Chociaż @MichaelHardy dokonał punkt, tutaj jest bardziej szczegółowy argumentem, dlaczego MLE maksimum (a więc, że od średniej , według niezmienniczości) nie jest obiektywne, chociaż jest w innym modelu (patrz edycja poniżej).$\theta/2$

Szacujemy górną granicę rozkładu równomiernego . Tutaj y ( n ) jest MLE dla losowej próbki y . Pokazujemy, że y ( n ) nie jest bezstronny. Jego format cdf to F y ( n ) ( x $U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ Zatem jego gęstość wynosi fy(n)(x)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ Hence, $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

EDIT: It is indeed the case that (see the discussion in the comments) the MLE is unbiased for the mean in the case in which both the lower bound $a$ and upper bound $b$ are unknown. Then, the minimum $Y_{(1)}$ is the MLE for $a$, with (details omitted) expected value

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ while $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ so that the MLE for $(a+b)/2$ is $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ with expected value $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

EDIT 2: To elaborate on Henry's point, here is a little simulation for the MSE of the estimators of the mean, showing that while the MLE if we do not know the lower bound is zero is unbiased, the MSEs for the two variants are identical, suggesting that the estimator which incorporates knowledge of the lower bound reduces variability.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Completing here the omission in my answer over at math.se referenced by the OP,

assume that we have an i.i.d. sample of size $n$ of random variables following the Half Normal distribution. The density and moments of this distribution are

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

The log-likelihood of the sample is

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

The first derivative with respect to $v$ is

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.