Intuicyjny kalkulator kanapkowy

20

Wikipedia i winieta pakietu warstwowego R dostarczają dobrych informacji na temat założeń wspierających standardowe błędy współczynnika OLS oraz matematycznego tła estymatorów warstwowych. Nadal nie jestem pewien, w jaki sposób rozwiązany jest problem heteroscedastyczności resztek, prawdopodobnie dlatego, że nie do końca rozumiem standardowe oszacowanie wariancji współczynników OLS.

Jaka intuicja kryje się za estymatorem kanapkowym?

Robert Kubrick
źródło
5
Musisz dowiedzieć się więcej o oszacowaniu M (lub oszacowaniu ekstremum, jak to się czasem nazywa w ekonometrii). Estymator kanapkowy dla regresji jest tylko szczególnym przypadkiem bardzo ogólnej formuły metody delta, a jeśli zrozumiesz tę drugą, nie będziesz mieć żadnych problemów z tą pierwszą. Nie ma intuicji w tym, że estymator kanapkowy nie próbuje modelować heteroskedastyczności ani nic z tym zrobić; to tylko inny estymator wariancji, który działa przy bardziej ogólnym zestawie założeń niż standardowy estymator OLS.
StasK,
@StasK Dzięki! Czy zdarza ci się znać jakiś konkretny dobry zasób na temat szacunków M i wzorów delta?
Robert Kubrick,
Warto zobaczyć monografię Roberta Hubera „Solidne statystyki”.
Momo

Odpowiedzi:

17

W przypadku OLS możesz sobie wyobrazić, że używasz szacowanej wariancji reszt (przy założeniu niezależności i homoscedastyczności) jako oszacowania warunkowej wariancji . W estymatorze opartym na kanapkach używasz zaobserwowanych kwadratowych reszt jako oszacowania wtyczki dla tej samej wariancji, która może się różnić między obserwacjami.Yi

var(β^)=(XTX)1(XTdiag(var(Y|X))X)(XTX)1

W zwykłym oszacowaniu błędu standardowego najmniejszych kwadratów dla oszacowania współczynnika regresji wariancja warunkowa wyniku jest traktowana jako stała i niezależna, dzięki czemu można ją konsekwentnie oszacować.

var^OLS(β^)=(XTX)1(r2XTX)(XTX)1

W przypadku kanapki unikamy spójnego szacowania wariancji warunkowej i zamiast tego używamy szacunkowej wtyczki wariancji każdego komponentu, używając kwadratowej wartości resztkowej

var^RSE(β^)=(XTX)1(XTdiag(ri2)X)(XTX)1

Za pomocą wtyczki oszacowania wariancji, otrzymamy spójnych oszacowań wariancji beta przez Lapunowa Centralnego twierdzenia granicznego.β^

Intuicyjnie, te obserwowane kwadratowe reszty usuwają wszelkie niewyjaśnione błędy wynikające z heteroscedastyczności, które w innym przypadku byłyby nieoczekiwane przy założeniu stałej wariancji.

AdamO
źródło
To twój ostatni akapit, który trudno mi zrozumieć. Czy możesz to zilustrować?
Robert Kubrick,
Nie ma SE w twoich formułach, AdamO, to SE ^ 2 ... w jakikolwiek sposób matrycowy, co masz na myśli.
StasK,
@StasK Dobra uwaga. Może kapelusz z wariantem jest lepszy. Myliłem terminologię wielowymiarową i jednowymiarową.
AdamO,
1
var(Y|X)i
Edycja: Powiedziałem, że oszacowania zmienne OLS obejmują „spójne oszacowania reszt”, kiedy miałem na myśli „spójne oszacowanie wariancji reszt”.
AdamO,