Dlaczego potrzebujemy estymatora, aby był spójny?

Myślę, że zrozumiałem już matematyczną definicję spójnego estymatora. Popraw mnie, jeśli się mylę:

$W_n$ jest spójnym estymatorem dla$\theta$ jeśli$\forall \epsilon>0$

Gdzie jest przestrzenią parametryczną. Ale chcę zrozumieć, że estymator musi być spójny. Dlaczego niespójny estymator jest zły? Czy możesz podać mi kilka przykładów?$\Theta$

Akceptuję symulacje w języku R lub python.

Jeśli estymator nie jest spójny, nie zbiegnie się z prawdziwą wartością prawdopodobieństwa . Innymi słowy, zawsze istnieje prawdopodobieństwo, że twój estymator i rzeczywista wartość będą miały różnicę, bez względu na to, ile masz punktów danych. To jest naprawdę złe, ponieważ nawet jeśli zbierzesz ogromną ilość danych, twoje oszacowanie zawsze będzie miało dodatnie prawdopodobieństwo, że będzie się różnić o od prawdziwej wartości. Praktycznie możesz uznać tę sytuację, jakbyś używał oszacowania ilości takiego, że nawet badanie całej populacji, zamiast małej próbki, nie pomoże.$\epsilon>0$

Rozważmy obserwacji ze standardowego rozkładu Cauchy'ego, który jest taki sam jak rozkład t Studenta z 1 stopniem swobody. Ogony tego rozkładu są na tyle ciężkie, że nie ma to żadnego znaczenia; rozkład jest wyśrodkowany na jego medianie$n = 10\,000$$\eta = 0.$

Sekwencja próbki oznacza, że nie jest spójny dla środka rozkładu Cauchy'ego. Z grubsza mówiąc, trudność polega na tym, że występują bardzo ekstremalne obserwacje (dodatnie lub ujemne) z wystarczającą regularnością, że nie ma szans, że zbiegnie się do ( są nie tylko powolne, ale nie zawsze zbieżność. Rozkład jest znowu standardem Cauchy'ego [ dowód ].)$A_j = \frac 1j \sum_{i=1}^j X_i$$X_i$$A_j$$\eta = 0.$$A_j$$A_j$

Dla kontrastu, na każdym etapie ciągłego procesu próbkowania, około połowa obserwacji będzie leżeć po obu stronach tak że sekwencja median próbki nie zbiegnie się z$X_i$$\eta,$$H_j$$\eta.$

Ten brak zbieżności i zbieżności ilustruje następująca symulacja.$A_j$$H_j$

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Oto lista kroków, na których Możesz zobaczyć wpływ niektórych z tych ekstremalnych obserwacji na średnie bieżące na wykresie po lewej stronie (na pionowych czerwonych kropkowanych liniach).$|X_i| > 1000.$

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Ważna jest spójność w estymacji: Przy pobieraniu próbek z populacji Cauchy'ego średnia próbki z próby obserwacji nie jest lepsza do oszacowania centrum niż tylko jedna obserwacja. Natomiast spójna mediana próbki jest zbieżna z więc większe próbki dają lepsze oszacowania.$n = 10\,000$$\eta$$\eta,$

Naprawdę prostym przykładem tego, dlaczego tak ważne jest, aby myśleć o spójności, na którą nie uważam, że zwraca wystarczającą uwagę, jest nadmiernie uproszczony model.

Jako przykład teoretyczny załóżmy, że chciałbyś dopasować model regresji liniowej do niektórych danych, w których prawdziwe efekty były faktycznie nieliniowe. Zatem twoje przewidywania nie mogą być spójne dla prawdziwej średniej dla wszystkich kombinacji zmiennych towarzyszących, podczas gdy bardziej elastyczne mogą być w stanie. Innymi słowy, uproszczony model będzie miał niedociągnięcia, których nie można przezwyciężyć za pomocą większej ilości danych.

@BruceET udzielił już doskonałej odpowiedzi technicznej, ale chciałbym dodać punkt o interpretacji tego wszystkiego.

Jednym z podstawowych pojęć w statystykach jest to, że wraz ze wzrostem wielkości próby możemy dojść do bardziej precyzyjnych wniosków na temat naszego podstawowego rozkładu. Można by pomyśleć o tym, że pobieranie wielu próbek eliminuje przypadkowe fluktuacje danych, dzięki czemu uzyskujemy lepsze pojęcie o podstawowej strukturze.

Przykłady twierdzeń z tej żyły jest obfite, ale najbardziej znanym jest Prawo Dużych Liczb, stwierdzające, że jeśli mamy rodzinę zmiennych losowych iid $(X_i)_{i\in\mathbb{N}} \ $ i $\mathbb{E}[X_1] < \infty$ , to

Teraz, aby wymagać, aby estymator był spójny, wymagaj, aby przestrzegał także tej reguły: Ponieważ jego zadaniem jest oszacowanie nieznanego parametru, chcielibyśmy, aby był on zbieżny z tym parametrem (czytaj: estymuj ten parametr arbitralnie dobrze) jako naszą próbką rozmiar dąży do nieskończoności.

Równanie

$W_n$$\theta$

$[\theta - \varepsilon, \theta + \varepsilon]$$\theta$