Jaka jest różnica między spójnym estymatorem a obiektywnym estymatorem?

125

Jestem naprawdę zaskoczony, że wydaje się, że nikt już o to nie pytał ...

Podczas omawiania estymatorów dwa często używane terminy są „spójne” i „obiektywne”. Moje pytanie jest proste: jaka jest różnica?

Dokładne techniczne definicje tych terminów są dość skomplikowane i trudno jest zrozumieć ich znaczenie . Mogę sobie wyobrazić dobry estymator i zły estymator, ale mam problem z dostrzeżeniem, w jaki sposób dowolny estymator może spełnić jeden warunek, a nie drugi.

MathematicalOrchid
źródło
13
Czy spojrzałeś na pierwszą liczbę w artykule w Wikipedii na temat spójnych estymatorów , która konkretnie wyjaśnia to rozróżnienie?
whuber
4
Przeczytałem artykuły zarówno ze względu na spójność, jak i uprzedzenie, ale nadal nie rozumiem tego rozróżnienia. (Liczba, do której się odwołujesz, twierdzi, że estymator jest spójny, ale stronniczy, ale nie wyjaśnia, dlaczego ).
MathematicalOrchid
1
W której części wyjaśnienia potrzebujesz pomocy? Podpis wskazuje, że każdy z estymatorów w sekwencji jest stronniczy, a także wyjaśnia, dlaczego sekwencja jest spójna. Czy potrzebujesz wyjaśnienia, w jaki sposób odchylenie w tych estymatorach wynika z tego rysunku?
whuber
5
+1 Wątek komentarza po jednej z tych odpowiedzi jest bardzo pouczający, zarówno ze względu na to, co ujawnia na dany temat, jak i jako ciekawy przykład tego, jak społeczność internetowa może pracować, aby ujawnić i naprawić nieporozumienia.
whuber
Powiązane: stats.stackexchange.com/questions/173152/...
kjetil b halvorsen

Odpowiedzi:

126

Aby zdefiniować dwa terminy bez użycia zbyt dużego języka technicznego:

  • Estymator jest spójny, jeśli wraz ze wzrostem wielkości próby oszacowania (wytworzone przez estymator) „zbiegają się” z prawdziwą wartością szacowanego parametru. Mówiąc nieco dokładniej - spójność oznacza, że ​​wraz ze wzrostem wielkości próby rozkład próbkowania estymatora staje się coraz bardziej skoncentrowany na rzeczywistej wartości parametru.

  • Estymator jest bezstronny, jeśli średnio osiąga prawdziwą wartość parametru. Oznacza to, że średnia rozkładu próbkowania estymatora jest równa rzeczywistej wartości parametru.

  • Te dwa nie są równoważne: Bezstronność jest stwierdzeniem o oczekiwanej wartości rozkładu próbkowania estymatora. Spójność to stwierdzenie dotyczące „dokąd zmierza rozkład próbkowania estymatora” wraz ze wzrostem wielkości próby.

Z pewnością możliwe jest spełnienie jednego warunku, ale nie drugi - podam dwa przykłady. Dla obu przykładów rozważyć przykładowy z populacji N ( μ , σ 2 ) .X1,...,XnN(μ,σ2)

  • Bezstronny, ale niespójny: Załóżmy, że szacujesz . Zatem X 1 jest obiektywnym estymatorem μ, ponieważ E ( X 1 ) = μ . Ale X 1 nie jest spójny, ponieważ jego rozkład nie staje się bardziej skoncentrowany wokół μ wraz ze wzrostem wielkości próbki - zawsze wynosi N ( μ , σ 2 ) !μX1μE(X1)=μX1μN(μ,σ2)

  • Spójny, ale nie bezstronny: Załóżmy, że szacujesz . Maksymalny estymator prawdopodobieństwa jest σ 2 = 1σ2gdzie ¯ X jest średnią próbki. Faktem jest, żeE( σ 2)=n-1

    σ^2=1ni=1n(XiX¯)2
    X¯ latego σ 2, który może być uzyskany z wykorzystaniem informacjio. Dlatego σ 2jest dociskany do dowolnego rozmiaru próbki skończonych. Można również łatwo wyprowadzić żeVnaR( σ 2)=2σ4(n-1)
    mi(σ^2))=n-1nσ2)
    σ^2)σ^2) Na podstawie tych faktów możemy zobaczyć, że nieformalny podział Ď 2staje się coraz bardziej i bardziej skoncentrowany naĎ2wraz ze wzrostem wielkości próbki od średniej jest zbieżne doĎ2i wariancja jest zbieżny do0. (Uwaga:Stanowi to dowód spójności przy użyciu tego samego argumentu, który użyto w odpowiedzitutaj)
    vzar(σ^2))=2)σ4(n-1)n2)
    σ^2)σ2)σ2)0
Makro
źródło
9
(+1) Nie wszystkie MLE są jednak spójne: ogólny wynik jest taki, że istnieje spójna podsekwencja w sekwencji MLE. Aby zapewnić odpowiednią spójność, potrzebnych jest kilka dodatkowych wymagań, np. Identyfikowalność. Przykłady MLE, które nie są spójne, można znaleźć w niektórych modelach z błędami w zmiennych (gdzie „maksimum” okazuje się punktem siodłowym).
MånsT
2
Cóż, MES EIV, o którym wspomniałem, może nie jest dobrym przykładem, ponieważ funkcja prawdopodobieństwa jest nieograniczona i nie istnieje żadne maksimum. Są to dobre przykłady tego, jak podejście ML może zawieść :) Przepraszam, że nie mogę teraz podać odpowiedniego linku - jestem na wakacjach.
MånsT
Dziękuję @ MånsT. Niezbędne warunki zostały określone w linku, ale nie było to jednoznaczne z treści.
Makro
2
σ2)
2
mi(σ^2))σ2)vzar(σ^2))0σ^2)
24

Spójność estymatora oznacza, że ​​wraz ze wzrostem wielkości próbki oszacowanie zbliża się do prawdziwej wartości parametru. Bezstronność to skończona właściwość próbki, na którą nie ma wpływu zwiększenie wielkości próbki. Szacunek jest bezstronny, jeśli jego oczekiwana wartość jest równa prawdziwej wartości parametru. Będzie to prawdziwe dla wszystkich wielkości próbek i jest dokładne, podczas gdy konsystencja jest asymptotyczna i tylko jest w przybliżeniu równa i nie jest dokładna.

n

Zaktualizuj po dyskusji w komentarzach z @cardinal i @ Macro: Jak opisano poniżej, są najwyraźniej patologiczne przypadki, w których wariancja nie musi wynosić 0, aby estymator był silnie spójny, a odchylenie nawet nie musi iść do 0 albo.

Michael Chernick
źródło
9
@MichaelChernick +1 za odpowiedź, ale jeśli chodzi o komentarz, wariancja spójnego estymatora niekoniecznie idzie do . Na przykład, jeśli ( X 1 , . . . , X n0(X1,...,Xn)Normalna(μ,1)μ01/X¯1/μvar(1/X¯)=n
6
n
6
Michael, treść twojej odpowiedzi jest całkiem dobra; Myślę, że zamieszanie zostało wprowadzone w twoim pierwszym komentarzu, który prowadzi do dwóch stwierdzeń, które są po prostu fałszywe i potencjalnych punktów zamieszania. (Rzeczywiście, wielu studentów rezygnuje ze wstępnej lekcji statystyki dla absolwentów z dokładnie tymi błędnymi wyobrażeniami z powodu złego rozróżnienia między różnymi trybami konwergencji i ich znaczeniem. Twój ostatni komentarz może być nieco trudny.)
kardynał
9
Niestety pierwsze dwa zdania w pierwszym komentarzu i cały drugi komentarz są fałszywe. Obawiam się jednak, że dalsze próby przekonania cię o tych faktach nie są owocne.
kardynał
11
Oto wprawdzie absurdalny, ale prosty przykład. Chodzi o to, aby dokładnie zilustrować , co może pójść nie tak i dlaczego. To nie ma praktycznego zastosowania. Przykład : Rozważ typowy model iid ze skończonym drugim momentem. Niech θ n = > 0θ^n=X¯n+ZnZnX¯nZn=±zan1/n2)za>0θ^nza2)θ^nμ
-5

Spójność: bardzo dobrze wyjaśniona wcześniej [wraz ze wzrostem wielkości próby oszacowania (wytworzone przez estymator) „zbiegają się” z prawdziwą wartością szacowanego parametru]

Bezstronność: Spełnia założenia 1-5 MLR znane jako Twierdzenie Gaussa-Markowa

  1. liniowość,
  2. losowe pobieranie próbek
  3. zero oczekiwanego błędu warunkowego średniego
  4. brak idealnej kolinearności
  5. homoskedastyczność

Następnie mówi się, że estymator jest NIEBIESKI (najlepszy liniowy obiektywny estymator

Nikolina Langura
źródło