Czy próbka oznacza w pewnym sensie „najlepsze” oszacowanie średniej dystrybucji?

Według (słabego / silnego) prawa dużych liczb, biorąc pod uwagę niektóre punkty próbki iid rozkładu, ich średnia próbka f ∗ ( { x i , i = 1 , … , N } ) : = $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$zbieżne ze średnią rozkładu zarówno w prawdopodobieństwie, jak i w miarę, jak wielkość próbkiN idzie do nieskończoności.$f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$$N$

Kiedy wielkość próbki jest ustalona, ​​zastanawiam się, czy estymator LLN f ∗ jest w pewnym sensie najlepszym estymatorem? Na przykład,$N$$f^*$

1. jego oczekiwanie jest średnią rozkładu, więc jest obiektywnym estymatorem. Jego wariancja wynosi gdzieσ2jest wariancją rozkładu. Ale czy to UMVU?$\frac{\sigma^2}{N}$$\sigma^2$

2. czy jest jakaś funkcja taka, że f ∗ ( { x i , i = 1 , … , N } ) rozwiązuje problem minimalizacji: f ∗ ( { x i , i = 1 , … , N } ) = argmin u ∈ R$l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$$f^*(\{x_i, i=1,\ldots,N\})$

   $$f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$$

   Innymi słowy, jest najlepszą opcją dla funkcji kontrastu l 0 w ramach minimalnego kontrastu (por. Rozdział 2.1 „Podstawowa heurystyka estymacji” w „ Statystyka matematyczna: podstawowe idee i wybrane tematy, tom 1 ” Bickle i Doksum).$f^*$$l_0$

   Na przykład, jeśli rozkład jest znany / ograniczony z rodziny rozkładów Gaussa, wówczas średnia próbki będzie estymatorem MLE średniej rozkładu, a MLE należy do ramy minimalnego kontrastu, a jego funkcja kontrastu jest minus log funkcja wiarygodności.$l_0$

3. czy jest jakaś funkcja taka, że f ∗ rozwiązuje problem minimalizacji: f ∗ = argmin $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$$f^*$ dla każdej dystrybucji P od x i w pewnym rodzinnym F rozkładów?

   $$f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$$ $P$$x_i$$F$

   Innymi słowy, jest najlepszym rozwiązaniem dla niektórych utraconych funkcji 1 i niektórych rodzin F rozkładów w ramach teoretycznych decyzji (por. Sekcja 1.3 „Teoretyczne ramy decyzyjne” w „ Statystyka matematyczna: podstawowe idee i wybrane tematy, tom 1 ” autorstwa Bickle i Doksum).$f^*$$l$$F$

Zauważ, że powyższe są trzema różnymi interpretacjami dla „najlepszej” oceny, którą znałem do tej pory. Jeśli znasz inne możliwe interpretacje, które mogą mieć zastosowanie do estymatora LLN, nie wahaj się o tym również wspomnieć.

$l_0$$(x-u)^2$$(x-u)'(x-u)$

Estymator minimalnego kontrastu jest, w pewnych warunkach technicznych, zarówno spójny, jak i asymptotycznie normalny. Dla średniej próbki wynika to już z LLN i centralnego twierdzenia granicznego. Nie wiem, czy estymatory minimalnego kontrastu są w jakikolwiek sposób „optymalne”. Zaletą estymatorów minimalnego kontrastu jest to, że wiele solidnych estymatorów (np. Mediana, estymatory Hubera, kwantyle próbne) należą do tej rodziny, i możemy stwierdzić, że są one spójne i asymptotycznie normalne, po prostu stosując ogólne twierdzenie o estymatorach minimalnego kontrastu, więc dopóki sprawdzimy niektóre warunki techniczne (choć często jest to o wiele trudniejsze niż się wydaje).

Jednym pojęciem optymalności, o którym nie wspominasz w pytaniu, jest wydajność, która, z grubsza mówiąc, dotyczy tego, jak duża próbka jest potrzebna do oszacowania określonej jakości. Zobacz http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_fficiency w celu porównania wydajności średniej i mediany (średnia jest bardziej wydajna, ale mediana jest bardziej odporna na wartości odstające).

$x_i$

$f^*$$P$$f^*$$\max_{P\in F}$$P\in F$$P$$P$