OLS jest NIEBIESKI. Ale co, jeśli nie dbam o bezstronność i liniowość?

Twierdzenie Gaussa-Markowa mówi nam, że estymator OLS jest najlepszym liniowym estymatorem obiektywnym dla modelu regresji liniowej.

Załóżmy jednak, że nie dbam o liniowość i bezstronność. Czy jest zatem jakiś inny (możliwy nieliniowy / tendencyjny) estymator dla modelu regresji liniowej, który jest najbardziej wydajny przy założeniach Gaussa-Markowa lub jakiś inny ogólny zestaw założeń?

Jest oczywiście jeden standardowy wynik: sam OLS jest najlepszym obiektywnym estymatorem, jeśli oprócz założeń Gaussa-Markowa zakładamy również, że błędy są zwykle rozkładane. Dla niektórych innych rozkładów błędów mógłbym obliczyć odpowiedni estymator największego prawdopodobieństwa.

Ale zastanawiałem się, czy istnieje jakiś estymator, który jest lepszy od OLS w jakichś stosunkowo ogólnych okolicznościach?

Bezstronne szacunki są typowe dla kursów statystyki wprowadzającej, ponieważ są: 1) klasyczne, 2) łatwe do analizy matematycznej. Dolna granica Cramer-Rao jest jednym z głównych narzędzi dla 2). Z dala od obiektywnych szacunków możliwa jest poprawa. Kompromis wariancji odchylenia jest ważnym pojęciem w statystykach, pozwalającym zrozumieć, w jaki sposób tendencyjne szacunki mogą być lepsze niż obiektywne.

Niestety tendencyjne estymatory są zazwyczaj trudniejsze do analizy. W przypadku regresji większość badań w ciągu ostatnich 40 lat dotyczyła uprzedzeń szacunkowych. Zaczęło się to od regresji grzbietu (Hoerl i Kennard, 1970). Zobacz Frank i Friedman (1996) oraz Burr and Fry (2005), aby uzyskać pewne recenzje i spostrzeżenia.

Kompromis wariancji odchylenia staje się ważniejszy w wysokich wymiarach, w których liczba zmiennych jest duża. Charles Stein zaskoczył wszystkich, gdy udowodnił, że w normalnym problemie średnich średnia próbka nie jest już dopuszczalna, jeśli (patrz Stein, 1956). Estymator Jamesa-Steina (James i Stein 1961) był pierwszym przykładem estymatora, który dominuje w średniej próby. Jest to jednak również niedopuszczalne.$p \geq 3$

Ważną częścią problemu wariancji odchylenia jest określenie, w jaki sposób należy zastąpić odchylenie. Nie ma jednego „najlepszego” estymatora . Sparowanie było ważną częścią badań w ciągu ostatniej dekady. Patrz Hesterberg i in. (2008) do częściowego przeglądu.

Większość estymatorów przywoływanych powyżej są nieliniowe w . Nawet regresja kalenicy jest nieliniowa, gdy dane zostaną wykorzystane do określenia parametru kalenicy.$Y$

Nie wiem, czy zgadzasz się z Bayes Estimate? Jeśli tak, to w zależności od funkcji Loss można uzyskać różne Szacunki Bayesa. Twierdzenie Blackwella stwierdza, że ​​Szacunki Bayesa nigdy nie są obiektywne. Argument teoretyczny stanowi, że każda dopuszczalna reguła ((czyli każda inna reguła, z którą jest porównywana), ma wartość parametru, dla którego ryzyko związane z obecną regułą jest (ściśle) mniejsze niż dla reguły, w stosunku do której porównywane)) to (ogólna) reguła Bayesa.

Estymatory Jamesa-Steina to kolejna klasa estymatorów (które można uzyskać asymptotycznie metodami bayesowskimi), które w wielu przypadkach są lepsze niż OLS.

OLS może być niedopuszczalny w wielu sytuacjach, a James-Stein Estimator jest przykładem. (zwany także paradoksem Steina).

Jest miły artykuł przeglądowy autorstwa Kay i Eldara na temat stronniczej oceny w celu znalezienia estymatorów z minimalnym średnim błędem kwadratowym.