Wiem, że OLS jest bezstronny, ale nieskuteczny przy heteroscedastyczności w ustawieniu regresji liniowej.
W Wikipedii
http://en.wikipedia.org/wiki/Minimum_mean_square_error
Estymator MMSE jest asymptotycznie obiektywny i zbiega się w rozkładzie do rozkładu normalnego: , gdzie I (x) to informacja Fishera dla x. Zatem estymator MMSE jest asymptotycznie wydajny.
Twierdzi się, że MMSE działa asymptotycznie. Jestem tu trochę zdezorientowany.
Czy to oznacza, że OLS nie jest skuteczny w próbce skończonej, ale skuteczny asymptotycznie przy heteroscedastyczności?
Krytyka obecnych odpowiedzi: jak dotąd proponowane odpowiedzi nie uwzględniają ograniczającego rozkładu.
Z góry dziękuję
least-squares
heteroscedasticity
efficiency
Cagdas Ozgenc
źródło
źródło
Odpowiedzi:
Artykuł nigdy nie zakładał homoskadastyczności w definicji. Aby umieścić to w kontekście artykułu, homoskedastyczność oznacza Gdzie jest matrycą tożsamości, a jest skalarna liczba dodatnia. Heteroscadasticity pozwala
Wszelkie diaganol dodatnio określona. Artykuł definiuje macierz kowariancji w najbardziej ogólny możliwy sposób, jako środkowy drugi moment pewnego niejawnego rozkładu wielozmiennego. musimy znać wielowymiarowy rozkład aby uzyskać asymptotycznie wydajne i spójne oszacowanie . Będzie to wynikało z funkcji prawdopodobieństwa (która jest obowiązkowym składnikiem a posteriori). Załóżmy na przykład (tj. . Wtedy domyślną funkcją prawdopodobieństwa jest Gdzie jest wielowymiarowym normalnym plikiem pdf.D e x^ e∼N(0,Σ) E{(x^−x)(x^−x)T}=Σ
Macierz informacji Fishera może być zapisana jako informacji na en.wikipedia.org/wiki/Fisher_information. Stąd możemy uzyskać Powyższe używa funkcji straty kwadratowej, ale nie zakłada homoscedastyczność.
W kontekście OLS, gdzie regresujemy na , przyjmujemy Implikowane prawdopodobieństwo to który może być dogodnie przepisany jako univariate normal pdf. Informacja Fishera toy x
Jeśli homoskedastyczność nie jest spełniona, wówczas informacja Fishera, jak podano, jest pominięta (ale funkcja warunkowego oczekiwania jest nadal poprawna), więc oszacowania będą spójne, ale nieefektywne. Możemy przepisać prawdopodobieństwo uwzględnienia heteroskaktyczności, a regresja jest skuteczna, tzn. Możemy zapisać Jest to równoważne z pewnymi formami uogólnionych najmniejszych kwadratów , takie jak Ważone najmniejsze kwadraty. Jednak tak będzieβ
źródło
Nie, OLS nie jest wydajny w przypadku heteroscedastyczności. Wydajność estymatora uzyskuje się, jeżeli estymator ma najmniejszą wariancję wśród innych możliwych estymatorów. Oświadczenia o wydajności w OLS są dokonywane niezależnie od ograniczającego rozkładu estymatora.
źródło