Dlaczego tak bardzo zależy nam na normalnie rozłożonych terminach błędów (i homoskedastyczności) w regresji liniowej, kiedy nie musimy?

52

Przypuszczam, że denerwuję się za każdym razem, gdy słyszę, jak ktoś mówi, że nienormalność reszt i / lub heteroskedastyczność narusza założenia OLS. Do oszacowania parametrów w modelu OLS żadne z tych założeń nie jest konieczne w twierdzeniu Gaussa-Markowa. Widzę, jak to ma znaczenie w testowaniu hipotez dla modelu OLS, ponieważ zakładając, że te rzeczy dają nam czyste wzory na testy t, testy F i bardziej ogólne statystyki Walda.

Ale bez nich nie jest trudno przeprowadzić test hipotez. Porzucając tylko homoskedastyczność, możemy łatwo obliczyć solidne błędy standardowe i klastry błędów standardowych. Jeśli całkowicie odrzucimy normalność, możemy użyć ładowania początkowego i, biorąc pod uwagę inną specyfikację parametryczną dla terminów błędów, współczynnika wiarygodności i testów mnożnika Lagrange'a.

Szkoda, że ​​uczymy tego w ten sposób, ponieważ widzę wielu ludzi, którzy mają trudności z założeniem, że nie muszą się przede wszystkim spotykać.

Dlaczego tak mocno podkreślamy te założenia, skoro mamy możliwość łatwego zastosowania bardziej niezawodnych technik? Czy brakuje mi czegoś ważnego?

Zachary Blumenfeld
źródło
2
Wydaje się to dyscyplinarne. Z mojego doświadczenia wynika, że ​​ekstremalnie teksty ekonometrii prawie zawsze obejmują wnioski, które kupuje każde założenie, a teksty psychologii wydają się nigdy nie wspominać o tym temacie.
conjugateprior
12
Homoscedastyczność jest jednak konieczna, aby OLS był NIEBIESKI.
Momo
4
Myślę, że masz rację, na te założenia przypada nadmierna uwaga. Niepowodzenie normalności lub warunkowej homoscedastyczności. nie jest tak szkodliwy dla celów wnioskowania większości praktyków, jak endogenność i źle określone formy funkcjonalne.
CloseToC,
2
@CloseToC to bardzo dobra uwaga. Często jesteśmy tak zaniepokojeni technicznymi danymi statystycznymi modelu regresji, że zapominamy o większym obrazie ... czy mój model jest poprawnie określony i egzogeniczny? Należy to wielokrotnie podkreślać jako jedno z podstawowych pytań, jakie należy sobie zadać podczas tworzenia dowolnego modelu.
Zachary Blumenfeld

Odpowiedzi:

25

W ekonometrii powiedzielibyśmy, że nienormalność narusza warunki klasycznego normalnego modelu regresji liniowej, podczas gdy heteroskedastyczność narusza zarówno założenia CNLR, jak i klasycznego modelu regresji liniowej.

Ale te, które mówią „… naruszają OLS” są również uzasadnione: nazwa Zwyczajne Najmniejsze Kwadraty pochodzi bezpośrednio od Gaussa i zasadniczo odnosi się do normalnych błędów. Innymi słowy „OLS” nie jest skrótem do oszacowania metodą najmniejszych kwadratów (co jest znacznie bardziej ogólną zasadą i podejściem), ale CNLR.

Ok, to była historia, terminologia i semantyka. Rozumiem rdzeń pytania PO w następujący sposób: „Dlaczego powinniśmy podkreślać ideał, jeśli znaleźliśmy rozwiązania dla przypadku, gdy go nie ma?” (Ponieważ założenia CNLR idealne w tym sensie, że zapewniają „gotowe” doskonałe właściwości estymatora najmniejszych kwadratów i bez potrzeby uciekania się do asymptotycznych wyników. Pamiętaj również, że OLS ma maksymalne prawdopodobieństwo, gdy błędy są normalne ).

Idealnie jest dobrym miejscem do rozpoczęcia nauczania . Tak zawsze robimy, ucząc każdego rodzaju przedmiotu: sytuacje „proste” są sytuacjami „idealnymi”, wolnymi od złożoności, z jakimi można się spotkać w prawdziwym życiu i prawdziwych badaniach, i dla których nie ma konkretnych rozwiązań .

I to jest dla mnie problematyczne w poście PO: pisze o solidnych standardowych błędach i bootstrapie, jakby były one „lepszymi alternatywami” lub niezawodnymi rozwiązaniami dla braku omawianych założeń w dyskusji, o których ponadto pisze OP

„.. założenia, że ​​ludzie nie muszą się spotykać”

Dlaczego? Ponieważ istnieją pewne metody radzenia sobie z sytuacją, metody, które mają pewną ważność, ale są dalekie od ideału? Bootstrap i heteroskedastyczności odpornego błędy standardowe nie są to rozwiązania -jeśli oni rzeczywiście byli oni stały się dominującym paradygmatem, wysyłając CLR i CNLR do historii. Ale nie są.

Zaczynamy więc od zestawu założeń, które gwarantują te właściwości estymatora, które uznaliśmy za ważne (to kolejna dyskusja, czy właściwości oznaczone jako pożądane są rzeczywiście tymi, które powinny być), abyśmy byli widoczni, że każde ich naruszenie ma konsekwencje, których nie można w pełni zrównoważyć metodami, które znaleźliśmy, aby poradzić sobie z brakiem tych założeń. Z naukowego punktu widzenia byłoby bardzo niebezpieczne przekazanie uczucia, że ​​„możemy rozpocząć naszą drogę do prawdy w tej sprawie” - ponieważ po prostu nie możemy.

Pozostają więc niedoskonałymi rozwiązaniami problemu , a nie alternatywnym i / lub zdecydowanie lepszym sposobem działania. Dlatego najpierw musimy nauczyć się sytuacji bezproblemowej, następnie wskazać możliwe problemy, a następnie omówić możliwe rozwiązania. W przeciwnym razie podnieślibyśmy te rozwiązania do statusu, którego tak naprawdę nie mają.

Alecos Papadopoulos
źródło
Hmmm, jeśli to miałeś na myśli, możesz spróbować „w pełni udowodniony”.
gung - Przywróć Monikę
@gung Nie, nie, metody są „w pełni udowodnione” w sensie matematycznym, ale nie są niezawodne pod względem tego, co faktycznie dostarczają (ten „mały” szczegół ponownie o asymptotykach i jaka jest ich wartość). Twoja poprawka była właściwa.
Alecos Papadopoulos,
22

Gdybyśmy mieli czas w klasie, w której po raz pierwszy wprowadzamy modele regresji, aby omówić bootstrapowanie i inne techniki, o których wspominałeś (w tym wszystkie ich założenia, pułapki itp.), To zgodziłbym się z tobą, że nie trzeba mówić o normalności i założenia homoscedastyczności. Ale tak naprawdę, kiedy regresja jest wprowadzana po raz pierwszy, nie mamy czasu na rozmowę o tych wszystkich innych rzeczach, więc wolelibyśmy, aby uczniowie byli konserwatywni i sprawdzili, czy nie są potrzebne, i skonsultowali się ze statystykami (lub zebrali inne statystyki klasa lub 2 lub 3, ...), gdy założenia nie mają zastosowania.

Jeśli powiesz uczniom, że te założenia nie mają znaczenia, z wyjątkiem kiedy ..., wówczas większość zapamięta tylko nieistotną część, a nie ważne, kiedy części.

Jeśli mamy przypadek z nierównymi wariancjami, to tak, nadal możemy dopasować linię najmniejszych kwadratów, ale czy nadal jest to „najlepsza” linia? czy lepiej byłoby skonsultować się z kimś z większym doświadczeniem / szkoleniem w sprawie dopasowania linii w takim przypadku. Nawet jeśli jesteśmy zadowoleni z linii najmniejszych kwadratów, czy nie powinniśmy uznać, że przewidywania będą miały różne właściwości dla różnych wartości predyktora (ów)? Dlatego sprawdzanie nierównych wariancji jest przydatne do późniejszych interpretacji, nawet jeśli nie potrzebujemy ich do testów / interwałów / itp. którego używamy.

Greg Snow
źródło
Rozumiem i doceniam to, co mówisz, zwłaszcza, że ​​istnieje znaczne ograniczenie czasowe. W mojej instytucji widzę, że kiedy studenci zmagają się z tymi założeniami, często nie otrzymują lub nie mogą otrzymać niezbędnych konsultacji. Ostatecznie wybierają projekty na podstawie dopasowania założeń modelu lub niewłaściwie wykorzystują model klasyczny do naruszania założeń. Twierdzę, że ucząc bardziej niezawodnych technik, uczniowie byliby mniej ograniczeni w zakresie dokonywania wyborów, a tym samym mieliby uprawnienia do realizacji projektów, którymi tak naprawdę się pasjonują.
Zachary Blumenfeld
13
Zawsze zaczynasz od idealnego przypadku podczas nauczania, a potem wchodzisz w różnego rodzaju komplikacje. Na ekonomii doktoranckiej uczą wszelkiego rodzaju dziwnych rzeczy, ale dotarcie tam zajmuje trochę czasu. Nie sądzę, że to problem edukacji, że większość ludzi wysiada z pociągu gdzieś na poziomie magistra. W rzeczywistości twierdziłbym, że większym problemem jest atak szkodników przez na wpół upieczonych „naukowców danych”, przy prawie zerowej wiedzy o podstawach statystycznych stosujących fantazyjne pakiety R w lewo i w prawo, nie mając pojęcia o tym, co robią i walczą zrozumieć wyniki.
Aksakal
@Aksakal, gdzie dokładnie widzisz tak dużą liczbę zbyt pewnych siebie, niedoświadczonych analityków? Ponieważ to, co spotykam częściej, jest prawie odwrotnie. Ludzie boją się wypróbować techniki, których się nauczyli, chyba że wcześniej uzyskają zgodę od postrzeganego eksperta. Tylko na tej stronie jestem pewien, że widziałeś wiele pytań, które brzmiały: „Czy wolno mi ...” lub „Czy to jest ważne do…”, gdy bardziej wyrafinowane / konstruktywne pytanie brzmiałoby „ Co by było, gdyby .... ”
rolando2
18

1) rzadko ludzie chcą tylko oszacować. Zazwyczaj wnioskowanie - CI, PI, testy - jest celem, a przynajmniej jego częścią (nawet jeśli czasami odbywa się to stosunkowo nieformalnie)

2) Rzeczy takie jak twierdzenie Gaussa Markowa niekoniecznie są bardzo pomocne - jeśli rozkład jest wystarczająco daleki od normy, estymator liniowy nie jest zbyt użyteczny. Nie ma sensu uzyskiwać NIEBIESKIEGO, jeśli żaden estymator liniowy nie jest bardzo dobry.

3) rzeczy, takie jak estymatory kanapkowe, wiążą się z dużą liczbą domyślnych parametrów. Nadal może być w porządku, jeśli masz dużo danych, ale wiele razy ludzie nie.

4) Przedziały prognozy zależą od kształtu rozkładu warunkowego, w tym od dobrego uchwycenia wariancji podczas obserwacji - nie można tak łatwo falować szczegółów za pomocą PI.

5) rzeczy takie jak ładowanie są często przydatne w przypadku bardzo dużych próbek. Czasami zmagają się w małych próbkach - a nawet w próbkach o średniej wielkości, często okazuje się, że faktyczne właściwości pokrycia nie są niczym reklamowane.

Innymi słowy - niewiele rzeczy jest typem panaceum, którym ludzie chcieliby. Wszystkie te rzeczy mają swoje miejsce iz pewnością istnieje wiele przypadków, w których (powiedzmy) normalność nie jest wymagana, a oszacowanie i wnioskowanie (testy i CI) można rozsądnie wykonać bez konieczności normalności, stałej wariancji i tak dalej.

Jedną z rzeczy, o których często się zapomina, są inne założenia parametryczne, które można by zamiast tego przyjąć. Często ludzie wiedzą wystarczająco dużo o sytuacji, aby przyjąć dość przyzwoite parametryczne założenie (np. Powiedzieć ... że reakcja warunkowa będzie miała tendencję do wypaczania, a wartość sd będzie w zasadzie proporcjonalna do średniej, co może skłonić nas do rozważenia, powiedzmy, modelu gamma lub lognormalnego); często może to dotyczyć zarówno heteroskedastyczności, jak i nienormalności za jednym razem.

Bardzo przydatnym narzędziem jest symulacja - dzięki temu możemy badać właściwości naszych narzędzi w sytuacjach bardzo podobnych do tych, na podstawie których wydaje się, że dane mogły powstać, i dlatego użyj ich w pocieszającej wiedzy, że mają one dobre właściwości w tych przypadkach ( lub czasami widzą, że nie działają tak dobrze, jak możemy się spodziewać).

Glen_b
źródło
„rzadko ludzie chcą tylko oszacować” - w finansach przedsiębiorstw i ekonomii ludzie oceniają wiele, aby wyrównać wpływ pewnej zmiennej. Przeczytałem mnóstwo artykułów, w których autorzy nawet nie patrzą na przedziały ufności, zauważają znaczenie, oczywiście, przy normalnych założeniach.
Aksakal
6
@Aksakal cóż, tak, ale jeśli zwracają uwagę na standardowe błędy, wartości t lub wartości p itp., To według moich obliczeń nie tylko chcą oszacować. Niezależnie od tego, czy formalnie testują / konstruują interwały, czy nie, aby tego rodzaju spojrzenie na inne rzeczy - choć nieformalnie - było znaczące, musiałyby mieć przede wszystkim znaczenie.
Glen_b