Kiedy najmniejsze kwadraty byłyby złym pomysłem?

Jeśli mam model regresji: gdzie i ,

kiedy użycie , zwykłego estymatora najmniejszych kwadratów , byłoby złym wyborem dla estymatora?$\beta_{\text{OLS}}$$\beta$

Próbuję wymyślić przykład, w którym najmniejsze kwadraty działają źle. Tak więc szukam rozkładu błędów, który spełnia poprzednią hipotezę, ale daje złe wyniki. Jeśli rodzina rozkładu byłaby określona przez średnią i wariancję, byłoby świetnie. Jeśli nie, to też jest OK.

Wiem, że „złe wyniki” są trochę niejasne, ale myślę, że pomysł jest zrozumiały.

Aby uniknąć nieporozumień, wiem, że najmniejsze kwadraty nie są optymalne i że istnieją lepsze estymatory, takie jak regresja grzbietu. Ale nie o to mi chodzi. Chcę przykład, że najmniejsze kwadraty byłyby nienaturalne.

Mogę sobie wyobrazić, że wektor błędu w niewypukłym regionie , ale nie jestem tego pewien.$\epsilon$$\mathbb{R}^n$

Edycja 1: Pomysł na odpowiedź (której nie potrafię zrozumieć, jak pójść dalej). jest NIEBIESKI. Warto więc pomyśleć o tym, kiedy liniowy obiektywny estymator nie byłby dobrym pomysłem.$\beta_{\text{OLS}}$

Edycja 2: Jak zauważył Brian, jeśli jest źle uwarunkowane, to jest złym pomysłem, ponieważ wariancja jest zbyt duża i zamiast tego należy użyć Regresji Ridge'a. Bardziej interesuje mnie wiedza o tym, jaka dystrybucja powinna , aby najmniejsze kwadraty działały źle.$XX'$$\beta_{\text{OLS}}$$\varepsilon$

$\beta_{\text{OLS}} \sim \beta+(X'X)^{-1}X'\varepsilon$ Czy istnieje rozkład z zerową średnią i macierzą wariancji wariancji dla który sprawia, że ​​ten estymator nie jest wydajny?$\varepsilon$

Odpowiedź Briana Borchera jest całkiem dobra --- dane zawierające dziwne wartości odstające często nie są dobrze analizowane przez OLS. Mam zamiar rozwinąć tę kwestię, dodając zdjęcie, Monte Carlo i trochę Rkodu.

Rozważ bardzo prosty model regresji:

Ten model jest zgodny z twoją konfiguracją ze współczynnikiem nachylenia 1.

Dołączony wykres pokazuje zestaw danych składający się ze 100 obserwacji na tym modelu, ze zmienną x przebiegającą od 0 do 1. W drukowanym zbiorze danych występuje jedno rysowanie błędu, które przedstawia wartość odstającą (w tym przypadku +31) . Wykreślono również linię regresji OLS na niebiesko i linię regresji najmniejszych odchyleń bezwzględnych na czerwono. Zauważ, jak OLS, ale nie LAD, jest zniekształcany przez wartość odstającą:

$x$$\epsilon$R

               Mean   Std Dev   Minimum   Maximum 
Slope by OLS   1.00      0.34     -1.76      3.89 
Slope by LAD   1.00      0.09      0.66      1.36

Zarówno OLS, jak i LAD wytwarzają obiektywne estymatory (nachylenie wynosi średnio 1,00 w stosunku do 10 000 powtórzeń). OLS produkuje estymator o znacznie wyższym odchyleniu standardowym, jednak 0,34 vs 0,09. Dlatego OLS nie jest tutaj najlepszy / najbardziej wydajny wśród obiektywnych estymatorów. Oczywiście nadal jest NIEBIESKI, ale LAD nie jest liniowy, więc nie ma sprzeczności. Zwróć uwagę na dzikie błędy, jakie może popełnić OLS w kolumnie Min i Max. Nie tak LAD.

Oto kod R dla wykresu i Monte Carlo:

# This program written in response to a Cross Validated question
# http://stats.stackexchange.com/questions/82864/when-would-least-squares-be-a-bad-idea

# The program runs a monte carlo to demonstrate that, in the presence of outliers,
# OLS may be a poor estimation method, even though it is BLUE.


library(quantreg)
library(plyr)

# Make a single 100 obs linear regression dataset with unusual error distribution
# Naturally, I played around with the seed to get a dataset which has one outlier
# data point.

set.seed(34543)

# First generate the unusual error term, a mixture of three components
e <- sqrt(0.04)*rnorm(100)
mixture <- runif(100)
e[mixture>0.9995] <- 31
e[mixture<0.0005] <- -31

summary(mixture)
summary(e)

# Regression model with beta=1
x <- 1:100 / 100
y <- x + e

# ols regression run on this dataset
reg1 <- lm(y~x)
summary(reg1)

# least absolute deviations run on this dataset
reg2 <- rq(y~x)
summary(reg2)

# plot, noticing how much the outlier effects ols and how little 
# it effects lad
plot(y~x)
abline(reg1,col="blue",lwd=2)
abline(reg2,col="red",lwd=2)


# Let's do a little Monte Carlo, evaluating the estimator of the slope.
# 10,000 replications, each of a dataset with 100 observations
# To do this, I make a y vector and an x vector each one 1,000,000
# observations tall.  The replications are groups of 100 in the data frame,
# so replication 1 is elements 1,2,...,100 in the data frame and replication
# 2 is 101,102,...,200.  Etc.
set.seed(2345432)
e <- sqrt(0.04)*rnorm(1000000)
mixture <- runif(1000000)
e[mixture>0.9995] <- 31
e[mixture<0.0005] <- -31
var(e)
sum(e > 30)
sum(e < -30)
rm(mixture)

x <- rep(1:100 / 100, times=10000)
y <- x + e
replication <- trunc(0:999999 / 100) + 1
mc.df <- data.frame(y,x,replication)

ols.slopes <- ddply(mc.df,.(replication),
                    function(df) coef(lm(y~x,data=df))[2])
names(ols.slopes)[2] <- "estimate"

lad.slopes <- ddply(mc.df,.(replication),
                    function(df) coef(rq(y~x,data=df))[2])
names(lad.slopes)[2] <- "estimate"

summary(ols.slopes)
sd(ols.slopes$estimate)
summary(lad.slopes)
sd(lad.slopes$estimate)

Jednym z przykładów może być to, że nie chcesz oszacować średniej. Pojawiło się to w mojej pracy, w której szacowaliśmy liczbę partnerów seksualnych, jako część modelowania rozprzestrzeniania się HIV / AIDS. Zainteresowanie ogonami dystrybucji było większe: Którzy ludzie mają wielu partnerów?

W takim przypadku możesz chcieć regresji kwantowej; moim zdaniem niewykorzystana metoda.

$X$

$\epsilon$

$\epsilon$$\beta$