Asymptotyczna spójność z niezerową wariancją asymptotyczną - co ona reprezentuje?

Problem pojawił się wcześniej, ale chcę zadać konkretne pytanie, które będzie próbowało uzyskać odpowiedź, która wyjaśni (i sklasyfikuje):

W „Asymptotics Poor Man” zachowuje się wyraźne rozróżnienie

(a) sekwencja zmiennych losowych, która zbiega się w prawdopodobieństwie do stałej

w przeciwieństwie do

(b) sekwencja zmiennych losowych, która jest zbieżna w prawdopodobieństwie ze zmienną losową (a zatem w jej rozkładzie).

Ale w „Asymptotics Mędrca” możemy również mieć taki przypadek

(c) sekwencja zmiennych losowych, która z prawdopodobieństwem zbiega się w stałą, przy zachowaniu niezerowej wariancji na granicy.

Moje pytanie brzmi (wykradając się z mojej własnej odpowiedzi badawczej poniżej):

Jak możemy zrozumieć estymator, który jest asymptotycznie spójny, ale ma również niezerową, skończoną wariancję? Co odzwierciedla ta wariancja? Czym różni się jego zachowanie od „zwykłego” spójnego estymatora?

Wątki związane ze zjawiskiem opisanym w punkcie (c) (patrz również w komentarzach):

mathematical-statistics variance convergence asymptotics consistency Alecos Papadopoulos
źródło

Sposób, w jaki wykorzystujesz „Asymptotykę ubogiego człowieka”, sprawia, że myślę, że brakuje mi wiedzy na temat referencji (lub być może widziałem ją, ale o niej zapomniałem, co jest równoznaczne z tym samym); rzeczywista książka lub gazeta, a może nawet tylko odniesienie kulturowe. Wiem o „rozszerzaniu danych biednego człowieka” (Tanner i Wei), ale nie sądzę, żeby miało to związek z tym, do czego zmierzasz. czego mi brakuje?

Glen_b

@Glen_B Nic nie przeoczysz - właśnie stworzyłem ten termin, aby kontrastować poziom wiedzy (= dostęp intelektualny) do teorii asymptotycznej, którą mają ludzie tacy jak ja, przeciw, powiedzmy, ludziom takich jak kardynał. Kapitalizacja była tylko taktyką marketingową.

Alecos Papadopoulos

Odpowiedzi:

27-10-2014: Niestety (jak dla mnie) nikt jeszcze nie udzielił tutaj odpowiedzi - może dlatego, że wygląda to jak dziwny, „patologiczny” problem teoretyczny i nic więcej?

Cóż, cytuję komentarz dla użytkownika Kardynał (który później zbadam)

„Oto wprawdzie absurdalny, ale prosty przykład. Chodzi o to, aby dokładnie zilustrować, co może pójść nie tak i dlaczego. Ma praktyczne zastosowania (moje podkreślenie). Przykład: Rozważ typowy model iid ze skończoną drugą chwilą. Niech gdzie jest niezależny od i każdy z prawdopodobieństwem a w przeciwnym razie wynosi zero, z dowolną Wtedy jest bezstronny, ma wariancję ograniczoną poniżej przez i prawie na pewno (jest to bardzo spójne). jako ćwiczenie na temat stronniczości ". $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

Indywidualną zmienną losową tutaj jest , więc zobaczmy, co możemy o niej powiedzieć. Zmienna ma wsparcie z odpowiednimi prawdopodobieństwami . Jest symetryczny wokół zera, więc mamy $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Chwile te nie zależą od więc myślę, że możemy trywialnie pisać $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

W Asymptotykach ubogiego człowieka wiemy o warunku, że granice momentów są równe momentom ograniczającego rozkładu. Jeśli -ty moment skończonego rozkładu przypadków zbiega się ze stałą (jak w naszym przypadku), to jeśli ponadto, $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

granica momentu będzie momentem rozkładu granicznego. W naszym przypadku $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Dla to rozbieżne dla dowolnego , więc ten wystarczający warunek nie obowiązuje dla wariancji (dotyczy średniej). Odwrotnie: jaki jest asymptotyczny rozkład ? Czy CDF z na granicy zbiega się z nie-zdegenerowanym CDF? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Nie wygląda na to, że tak jest: ograniczeniem będzie: (jeśli wolno nam to napisać), a odpowiadające im prawdopodobieństwa . Wygląda mi na stałą. Ale jeśli nie mamy przede wszystkim ograniczającej dystrybucji, jak możemy mówić o jej chwilach? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Następnie, wracając do estymatora , ponieważ również zbiega się do stałej, wydaje się, że $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ nie ma (nietrywialnego) ograniczającego rozkładu, ale ma wariancję na granicy. A może ta wariancja jest nieskończona? Ale nieskończona wariancja ze stałym rozkładem?

Jak możemy to zrozumieć? Co mówi nam o estymatorze? Jaka jest zasadnicza różnica pomiędzy a ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

Alecos Papadopoulos
źródło

Głupia prośba o referencję: czy masz (dobre) źródło: „jeśli r-ty moment zbiega się w stałą, to wszystkie momenty o indeksie niższym niż r są zbieżne z momentami rozkładu granicznego?”. Wiem, że to prawda, ale nigdy nie znalazłem dobrego źródła

Guillaume Dehaene

Po drugie, twierdzenie, którego próbujesz użyć, nie może zostać zastosowane w tym przypadku: dla r = 2 (co jest przypadkiem, którego chcesz użyć: chcesz udowodnić, że wariancja jest zbieżna), a dla każdej ściśle dodatniej , rozbieżność!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

Guillaume Dehaene

Być może dobrze byłoby w jakiś sposób pingować @cardinal (na czacie?), Aby dołączył do tej dyskusji.

ameba mówi Przywróć Monikę

@amoeba Cardinal jest estymatorem, który jest zbieżny co do prawdziwej odpowiedzi tutaj, ale pamiętam, że próbowałem zaangażować go w przeszłości bez powodzenia.

Alecos Papadopoulos

@GuillaumeDehaene Odniesieniem jest AW Van der Vaart (1998) „Asymptotic Statistics”, rozdz. 2.5 „Konwergencja momentów”. Podany jest jako przykład 2.21 twierdzenia 2.20. I masz rację: miałem wrażenie, że wystarczyło ograniczenie do skończonego - ale to limsup musi być skończony. Poprawiam swój post.

n

$n$

Alecos Papadopoulos

Nie udzielę zadowalającej odpowiedzi na twoje pytanie, ponieważ wydaje mi się to trochę zbyt otwarte, ale pozwól mi rzucić nieco światła na to, dlaczego to pytanie jest trudne.

Myślę, że walczysz z faktem, że konwencjonalne topologie, których używamy do rozkładów prawdopodobieństwa i zmiennych losowych, są złe. Napisałem o tym większy artykuł na moim blogu, ale pozwól, że spróbuję podsumować: możesz zbierać się w sensie słabym (i całkowitej zmienności), naruszając jednocześnie powszechne założenia dotyczące tego, co oznacza konwergencja.

Na przykład, możesz zbliżyć się do słabej topologii w kierunku stałej, mając wariancję = 1 (dokładnie to robi sekwencja ). Istnieje wówczas rozkład graniczny (w słabej topologii), czyli ta monstrualna zmienna losowa, która przez większość czasu jest równa 0, ale nieskończenie rzadko rzadko równa się nieskończoności. $Z_n$

Osobiście uważam, że oznacza to, że słaba topologia (a także topologia z całkowitą zmiennością) jest złym pojęciem zbieżności, które należy odrzucić. Większość zbieżności, których faktycznie używamy, jest silniejsza. Jednak tak naprawdę nie wiem, czego powinniśmy użyć zamiast słabej topologii, więc ...

Jeśli naprawdę chcesz znaleźć istotną różnicę między i , oto moje zdanie: oba estymatory są równoważne dla utraty [0,1] (kiedy rozmiar twojego błędu nie ma znaczenia). Jednak jest znacznie lepsza, jeśli rozmiar twoich błędów ma znaczenie, ponieważ czasami zawodzi katastrofalnie. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

Guillaume Dehaene
źródło

Estymator ma spójne prawdopodobieństwo, ale nie w MSE, jeśli istnieje arbitralnie małe prawdopodobieństwo „wybuchu” estymatora. Chociaż jest to interesująca matematyczna ciekawość, w żadnym praktycznym celu nie powinno cię to niepokoić. Dla dowolnego praktycznego celu estymatory mają skończone wsparcie i dlatego nie mogą eksplodować (świat rzeczywisty nie jest nieskończenie mały ani duży).

Jeśli nadal chcesz wezwać do ciągłego zbliżania się do „realnego świata”, a twoje przybliżenie jest takie, że zbiega się w prawdopodobieństwie, a nie w MSE, weź to tak, jak jest: Twój estymator może mieć rację z dowolnym dużym prawdopodobieństwem, ale zawsze będzie arbitralnie mała szansa, że wybuchnie. Na szczęście zauważysz, że w przeciwnym razie możesz mu zaufać. :-)

JohnRos
źródło

Mam wrażenie, że zbiega się w kwadratu, ponieważ

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

Alecos Papadopoulos

Pytanie dotyczy konkretnie interpretacji estymatora, który zbiega się w prawdopodobieństwie, a nie w MSE (z powodu nie znikającej wariancji).

JohnRos

Masz rację, właśnie pomyliłem znak plus ze znakiem minus.

Alecos Papadopoulos