Współczynniki regresji, które odwracają znak po uwzględnieniu innych predyktorów

31

Wyobrażać sobie

  • Prowadzisz regresję liniową za pomocą czterech predyktorów numerycznych (IV1, ..., IV4)
  • Gdy jako predyktor uwzględniono tylko IV1, standaryzowana jest beta +.20
  • Gdy uwzględnisz także IV2 do IV4, znak znormalizowanego współczynnika regresji IV1 zmienia się na -.25(tzn. Staje się ujemny).

Rodzi to kilka pytań:

  • Jeśli chodzi o terminologię, czy nazywacie to „efektem tłumiącym”?
  • Jakie strategie zastosowałbyś do wyjaśnienia i zrozumienia tego efektu?
  • Czy masz jakieś przykłady takich efektów w praktyce i jak wyjaśniłeś i zrozumiałeś te efekty?
regression predictor Jeromy Anglim
źródło
Jak wytłumaczysz sytuację, w której współczynniki zmieniają znaki, gdy zawierają predyktory, ale na pewno nie występuje żadna wielokoliniowość (jak sugerują niskie wartości VIF)? Co ciekawe, po uwzględnieniu predyktorów znak zmienił się na początkowo oczekiwany (pozytywny). Był ujemny w prostej regresji niezależnej zmiennej (macierz korelacji wykazywał minimalną ujemną korelację ze zmienną zależną), ale natychmiast stał się dodatni z innymi predyktorami.
@John, czy możesz usunąć swój komentarz i opublikować swoje pytanie jako osobne pytanie na tej stronie (tj. Używając „zadaj pytanie w górę”. Jeśli uważasz, że Twoje pytanie jest powiązane z tym pytaniem, dodaj link do tego pytania w twoje nowe pytanie
Jeromy Anglim
2
Artykuł, który napisałem z Sethem Dutterem, może pomóc w wyjaśnieniu. Jest napisany głównie z perspektywy geometrycznej. Oto link: arxiv.org/abs/1503.02722 . -Brian Knaeble, B., i Dutter, S. (2015). Odwrotne oszacowania metodą najmniejszych kwadratów i oszacowanie niezależne od modelu dla kierunków unikalnych efektów. nadruk arXiv arXiv: 1503.02722.

Odpowiedzi:

26

Wielokoliniowość jest zwykle podejrzanym, jak wspomniał JoFrhwld. Zasadniczo, jeśli twoje zmienne są dodatnio skorelowane, wówczas współczynniki będą skorelowane ujemnie, co może prowadzić do błędnego znaku na jednym ze współczynników.

Jednym z nich byłoby wykonanie regresji głównych składników lub regresji kalenicowej. Zmniejsza to wymiarowość przestrzeni regresji, obsługując wielokoliniowość. Skończysz z tendencyjnymi szacunkami, ale prawdopodobnie niższym MSE i poprawionymi znakami. Niezależnie od tego, czy wybierasz te konkretne wyniki, czy nie, jest to dobra kontrola diagnostyczna. Jeśli nadal pojawiają się zmiany znaków, może to być teoretycznie interesujące.

AKTUALIZACJA

Po komentarzu w odpowiedzi Johna Christie może to być interesujące. Odwrócenie w powiązaniu (wielkość lub kierunek) to przykłady Paradoksu Simpsona, Paradoksu Lorda i Efektu Tłumienia. Różnice dotyczą głównie rodzaju zmiennej. Bardziej przydatne jest zrozumienie podstawowego zjawiska niż myślenie w kategoriach konkretnego „paradoksu” lub efektu. Z przyczyn przyczynowych poniższy artykuł dobrze wyjaśnia, dlaczego, i przytoczę szczegółowo ich wprowadzenie i wnioski, aby pobudzić apetyt.

Tu i wsp. Przedstawili analizę równoważności trzech paradoksów, stwierdzając, że wszystkie trzy po prostu powtarzają nieoczekiwaną zmianę w powiązaniu dowolnych dwóch zmiennych, gdy trzecia zmienna jest statystycznie kontrolowana. Nazywam to zaskakującym, ponieważ odwrócenie lub zmiana wielkości jest powszechna w analizie warunkowej. Aby tego uniknąć, musimy całkowicie uniknąć analizy warunkowej. Co jest takiego w paradoksach Simpsona i Lorda, czy też tłumieniu, poza tym, że wskazują na oczywiste, co przyciąga sporadyczne, a czasem alarmistyczne zainteresowania, które można znaleźć w literaturze?

[...]

Podsumowując, nie można przecenić faktu, że chociaż paradoksy Simpsona i pokrewne ujawniają niebezpieczeństwa wynikające ze stosowania kryteriów statystycznych do kierowania analizą przyczynową, nie zawierają ani wyjaśnienia zjawiska, które rzekomo przedstawiają, ani wskazówek, jak ich uniknąć. Wyjaśnienia i rozwiązania opierają się na rozumowaniu przyczynowym, które opiera się na wiedzy ogólnej, a nie kryteriach statystycznych. Najwyższy czas, abyśmy przestali leczyć źle interpretowane oznaki i objawy („paradoksy”) i zajęli się sprawą radzenia sobie z chorobą („przyczynowość”). Słusznie powinniśmy zwrócić uwagę na odwieczny problem selekcji zmiennych towarzyszących do analizy przyczynowej z wykorzystaniem danych nie eksperymentalnych.

ars
źródło
1
Dziękujemy za sugestię zbadania regresji grzbietowej lub PCA. Tylko boczna uwaga dotycząca komentarza „jeśli twoje zmienne są dodatnio skorelowane, wówczas współczynniki będą ujemnie skorelowane, co doprowadzi do odwrócenia znaku.”: Dodatnio skorelowane predyktory zwykle nie prowadzą do odwrócenia znaku.
Jeromy Anglim,
Przepraszam, to jest spartaczone jedno wierszowe wyjaśnienie napisane w pośpiechu. Naprawiono teraz, dzięki.
ars
Świetna uwaga na temat znaczenia mechanizmów przyczynowych.
Jeromy Anglim
14

Wierzę, że takie skutki są często spowodowane kolinearnością (patrz to pytanie ). Myślę, że książka o modelowaniu wielopoziomowym autorstwa Gelmana i Hilla mówi o tym. Problem polega na tym, że IV1jest on skorelowany z jednym lub kilkoma innymi predyktorami, a gdy wszystkie są uwzględnione w modelu, ich oszacowanie staje się nieregularne.

Jeśli przerzucanie współczynnika wynika z kolinearności, raportowanie nie jest tak naprawdę interesujące, ponieważ nie wynika to z relacji między predyktorami a wynikiem, ale z powodu relacji między predyktorami.

Sugerowane przeze mnie rozwiązanie tego problemu to resualizacja. Najpierw dopasujesz model IV2 ~ IV1, a następnie weź pozostałości tego modelu jako rIV2. Jeśli wszystkie zmienne są skorelowane, powinieneś naprawdę zmienić ich położenie. Możesz to zrobić tak

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Teraz dopasuj ostateczny model do

DV ~ IV1 + rIV2 + rIV3 + rIV4

Teraz współczynnik dla rIV2reprezentuje niezależny efekt IV2danej korelacji z IV1. Słyszałem, że nie uzyskasz tego samego rezultatu, jeśli dokonałeś rezydalizacji w innej kolejności, a wybranie kolejności rezydencji jest naprawdę decyzją w ramach twoich badań.

JoFrhwld
źródło
Dziękuję za odpowiedź. Miałem te myśli. (a) Wielokoliniowość: Zgadzam się. Bez tego współczynniki nie powinny się zmieniać. (b) Czy to interesujące? Właściwie uważam, że odwracanie znaku może mieć ciekawe interpretacje teoretyczne w niektórych przypadkach; ale może nie z czystej prognozy. (c) Residualizacja: Chciałbym usłyszeć, co inni ludzie myślą o tym podejściu.
Jeromy Anglim,
Nie jestem pewien, czy wielokoliniowość może być interesująca. Powiedz, że miałeś jakiś wynik O, a twoimi predyktorami są Incomei Father's Income. IncomeSkorelowany z nim fakt jest z Father's Incomenatury interesujący, ale fakt ten byłby prawdziwy bez względu na wartość O. Oznacza to, że możesz ustalić, że Owszystkie predyktory są współliniowe bez gromadzenia danych o wynikach, a nawet wiedząc, jaki jest wynik! Fakty te nie powinny się szczególnie bardziej interesujące, gdy wiesz, że Ojest naprawdę Education.
JoFrhwld,
Sugeruję, że efekt supresora może być teoretycznie interesujący, którego przypuszczalnie wielokoliniowość stanowi punkt wyjścia do wyjaśnienia.
Jeromy Anglim,
5

Zobacz paradoks Simpsona . Krótko mówiąc, główny obserwowany efekt może ulec odwróceniu po dodaniu interakcji do modelu. Na połączonej stronie większość przykładów jest kategoryczna, ale u góry strony znajduje się liczba, którą można sobie wyobrazić w sposób ciągły. Na przykład, jeśli masz predyktor jakościowy i ciągły, to predyktor ciągły może łatwo przerzucić znak, jeśli kategoryczny zostanie dodany, aw każdej kategorii znak różni się od ogólnego wyniku.

Jan
źródło
Słuszna uwaga. Wszystkie przykłady paradoksu Simpsona dotyczą zmiennych kategorialnych. Czy pojęcie zmiennej supresora jest odpowiednikiem liczbowym?
Jeromy Anglim,