W przypadku modelu liniowego rozwiązanie OLS zapewnia najlepszy liniowy obiektywny estymator parametrów.
Oczywiście możemy wymieniać nastawienie na niższe wariancje, np. Regresję grzbietu. Ale moje pytanie dotyczy braku uprzedzeń. Czy istnieją inne powszechnie stosowane estymatory, które są obiektywne, ale mają większą wariancję niż parametry szacowane OLS?
Gdybym miał ogromny zestaw danych, mógłbym go oczywiście podpróbkować i oszacować parametry przy mniejszej ilości danych i zwiększyć wariancję. Zakładam, że może to być hipotetycznie przydatne.
Jest to raczej pytanie retoryczne, ponieważ kiedy czytałem o NIEBIESKICH estymatorach, nie ma gorszej alternatywy. Wydaje mi się, że dostarczenie gorszych alternatyw może również pomóc ludziom lepiej zrozumieć moc NIEBIESKICH estymatorów.
Odpowiedzi:
Jednym z przykładów, który przychodzi mi na myśl, jest estymator GLS, który waży obserwacje w różny sposób, chociaż nie jest to konieczne, gdy spełnione są założenia Gaussa-Markowa (które statystycy mogą nie wiedzieć, że tak jest i dlatego mają zastosowanie, nadal stosują GLS).
Rozważmy przypadek regresjiyi , i=1,…,n na stałym na rysunku (łatwo uogólnia ogólnym estymatorów GLS). Tutaj przyjmuje się , że {yi} jest losową próbką z populacji o średniej μ i wariancji σ2 .
Wtedy wiemy, że OLS jest tylko β = ˉ y , średnia próbka. Podkreślić, że każdy punkt obserwacyjny ważona masy 1 / n , zapis ten jako β = n Ď i = 1, 1β^=y¯ 1/n β^=∑i=1n1nyi.
Jest dobrze wiadomo, żeVar(β^)=σ2/n .
Here is a graphical illustration from a little simulation, created with the code below:
EDIT: In response to @kjetilbhalvorsen's and @RichardHardy's suggestions I also include the median of theyi , MLE parametru lokalizacji pf przy rozkładzie (4) (dostaję ostrzeżenia,
In log(s) : NaNs produced
że nie sprawdziłem więcej) i estymator Hubera na wykresie.Zauważamy, że wszystkie estymatory wydają się być obiektywne. Jednak estymator, który wykorzystuje wagiwja= ( 1 ± ϵ ) / n ponieważ wagi dla każdej połowy próbki są bardziej zmienne, podobnie jak mediana, MLE rozkładu t i estymator Hubera (ten ostatni tylko nieznacznie, patrz także tutaj ).
To, że trzy ostatnie są lepsze od rozwiązania OLS, nie jest natychmiast sugerowane przez NIEBIESKĄ właściwość (przynajmniej nie dla mnie), ponieważ nie jest oczywiste, czy są to estymatory liniowe (ani nie wiem, czy MLE i Huber są obiektywne).
źródło