Dlaczego nie solidna regresja za każdym razem?

12

Przykłady tej strony pokazują, że na regresję wyraźnie wpływają wartości odstające i można temu zaradzić za pomocą technik solidnej regresji: http://www.alastairsanderson.com/R/tutorials/robust-regression-in-R/ . Wierzę, że lmrob i ltsReg to inne solidne techniki regresji.

Dlaczego nie należy za każdym razem wykonywać solidnej regresji (np. Rlm lub rq) zamiast prostej regresji (lm)? Czy są jakieś wady tych solidnych technik regresji? Dzięki za wgląd.

regression multiple-regression robust rnso
źródło
2
To może być pomocne.
conjugateprior

Odpowiedzi:

6

Twierdzenie Gaussa-Markowa :

W modelu liniowym z błędami sferycznymi (który z kolei obejmuje założenie braku wartości odstających, poprzez wariancję błędu skończonego), OLS jest skuteczny w klasie liniowych obiektywnych estymatorów - istnieją (restrykcyjne, oczywiście) warunki, w których „ nie możesz zrobić nic lepszego niż OLS ”.

Christoph Hanck
źródło
Więc jeśli nie ma wartości odstających, regresja liniowa byłaby najlepsza. Ale jeśli istnieją lub są naruszane inne założenia, tylko jeden powinien wykonać solidne regresje. Czy to jest poprawne?
rnso
2
Jeśli występują wartości odstające, inne techniki są lepsze, tak. Nie doszłbym do wniosku, że „jeśli naruszane są inne założenia, wówczas [...] należy dokonać solidnych regresji” - nie jest to lekarstwo na wszystkie naruszenia. Fx, gdy błędy są skorelowane z regresorami, a ty szukasz efektów przyczynowych, potrzebne są techniki zmiennych instrumentalnych.
Christoph Hanck