W przypadku jakich modeli tendencyjność MLE spada szybciej niż wariancja?

$\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$

Interesują mnie modele, które mają odchylenie, które zmniejsza się szybciej niż $O(1/\sqrt n)$ , ale w którym błąd nie zmniejsza się w tym szybszym tempie, ponieważ odchylenie nadal zmniejsza się jako $O(1/\sqrt n)$ . W szczególności chciałbym poznać warunki wystarczające do zmniejszenia obciążenia modelu w tempie $O(1/n)$ .

variance estimation maximum-likelihood bias Mike Izbicki
źródło

Czy ? Lub?

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$

Alecos Papadopoulos

Pytałem konkretnie o normę L2, tak. Byłbym jednak zainteresowany innymi normami, jeśli ułatwi to udzielenie odpowiedzi na pytanie.

Mike Izbicki,

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ to .

O_{p} (1 / n)

$O_p(1/n)$

Alecos Papadopoulos

Przepraszam, źle odczytałem twój komentarz. Dla normy L2 w wymiarach , a zatem zbieżność jest równa . Zgadzam się, że jeśli to zrobimy, to zbiegnie się jako .

d

$d$

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

Mike Izbicki,

Czy widziałeś papier regresji grzbietu (Hoerl & Kennard 1970)? Uważam, że daje to warunki dla matrycy projektowej + kary tam, gdzie ma to być prawda.

dcl

Odpowiedzi:

Ogólnie rzecz biorąc, potrzebujesz modeli, w których MLE nie jest asymptotycznie normalny, ale zbiega się z innym rozkładem (i robi to szybciej). Zwykle dzieje się tak, gdy szacowany parametr znajduje się na granicy przestrzeni parametrów. Intuicyjnie oznacza to, że MLE podejdzie do parametru „tylko z jednej strony”, więc „poprawia się prędkość konwergencji”, ponieważ nie jest on „rozpraszany” przez poruszanie się „do przodu i do tyłu” wokół parametru.

Standardowym przykładem jest MLE dla w iid próbce jednolitego rv MLE tutaj jest statystyką maksymalnego rzędu, $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

Jego skończony rozkład próbek wynosi

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Więc . Ale ta sama podwyższona stopa będzie obowiązywać również dla wariancji. $B(\hat \theta_n) = O(1/n)$

Można również zweryfikować, że aby uzyskać rozkład ograniczający, musimy spojrzeć na zmienną , (tj. Musimy skalować o ), ponieważ $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

który jest CDF rozkładu wykładniczego.

Mam nadzieję, że to daje pewien kierunek.

Alecos Papadopoulos
źródło

Zbliża się, ale szczególnie interesują mnie sytuacje, w których odchylenie zmniejsza się szybciej niż wariancja.

Mike Izbicki

@MikeIzbicki Hmm ... zbieżność odchylenia zależy od pierwszego momentu rozkładu, a wariancja (pierwiastek kwadratowy) jest również wielkością „pierwszego rzędu”. Nie jestem więc pewien, czy tak się stanie, ponieważ wydaje się, że oznaczałoby to, że momenty ograniczającego rozkładu „powstają” przy stawkach konwergencji, które nie są ze sobą kompatybilne ... Zastanowię się jednak.

Alecos Papadopoulos

Po komentarzach do mojej drugiej odpowiedzi (i ponownym spojrzeniu na tytuł pytania PO!), Oto niezbyt rygorystyczne teoretyczne zbadanie tego problemu.

Chcemy ustalić, czy może mieć inny współczynnik zbieżności niż pierwiastek kwadratowy wariancji, $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

Mamy

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

podczas

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

Widzimy, że może się zdarzyć, jeśli $(2)$

A) oba składniki to , w którym to przypadku możemy mieć tylko . $O(1/n^{2\gamma})$ $\gamma = \delta$

B) Ale może to również dotyczyć, jeśli

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

Aby był zgodny z , musimy go mieć $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

Wydaje się więc, że w zasadzie możliwe jest zbieganie się odchylenia w szybszym tempie niż pierwiastek kwadratowy wariancji. Ale nie możemy mieć pierwiastka kwadratowego wariancji zbiegającego się szybciej niż błąd systematyczny.

Alecos Papadopoulos
źródło

Jak pogodziłbyś to z istnieniem obiektywnych estymatorów, takich jak zwykłe najmniejsze kwadraty? W takim przypadku , ale .

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

Mike Izbicki

@MikeIzbicki Czy w tym przypadku ma zastosowanie koncepcja konwergencji / big-O? Ponieważ tutaj nie jest na początku „ ” czymś.

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

Alecos Papadopoulos

W tym przypadku , więc .

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

Mike Izbicki

@MikeIzbicki Ale także lub lub inne, które chcesz zapisać. Który jest tutaj stopniem konwergencji?

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

Alecos Papadopoulos

@MikeIzbicki Poprawiłem swoją odpowiedź, aby pokazać, że zasadniczo możliwe jest szybsze zbieganie się odchylenia, chociaż nadal uważam, że przykład „zerowego odchylenia” jest problematyczny.

Alecos Papadopoulos