Uwzględniając interakcję, ale nie główne efekty w modelu

Czy kiedykolwiek jest uzasadnione włączenie dwukierunkowej interakcji do modelu bez uwzględnienia głównych efektów? Co jeśli twoja hipoteza dotyczy tylko interakcji, czy nadal musisz uwzględnić główne efekty?

Z mojego doświadczenia wynika, że ​​nie tylko konieczne jest posiadanie wszystkich efektów niższego rzędu w modelu, gdy są one połączone z efektami wyższego rzędu, ale ważne jest również, aby odpowiednio modelować (np. Pozwalając być nieliniowym) główne efekty, które pozornie nie są powiązane z czynniki w interakcjach między zainteresowaniami. Dzieje się tak, ponieważ interakcje między a x 2 mogą być standaryzowane dla głównych efektów x 3 i x 4 . Czasami wydaje się, że interakcje są potrzebne, ponieważ są one współliniowe z pominiętymi zmiennymi lub pominiętymi nieliniowymi (np. Splajnami) terminami.$x_1$$x_2$$x_3$$x_4$

Pytasz, czy to jest kiedykolwiek ważne. Pozwól, że podam wspólny przykład, którego wyjaśnienie może sugerować ci dodatkowe podejście analityczne.

Najprostszym przykładem interakcji jest model z jedną zmienną zależną i dwiema zmiennymi niezależnymi X , Y w formie$Z$$X$$Y$

$$Z = \alpha + \beta' X + \gamma' Y + \delta' X Y + \varepsilon,$$

$\varepsilon$$\alpha, \beta', \gamma',$$\delta'$$\delta'$$\beta' \gamma'$

$$Z = \alpha \left(1 + \beta X + \gamma Y + \delta X Y \right) + \varepsilon$$

$$= \alpha \left(1 + \beta X \right) \left(1 + \gamma Y \right) + \alpha \left( \delta - \beta \gamma \right) X Y + \varepsilon$$

$\beta' = \alpha \beta$

$\left( \delta - \beta \gamma \right) \sim 0$$\varepsilon$$Z$

$$\log(Z) = \log(\alpha) + \log(1 + \beta X) + \log(1 + \gamma Y) + \tau$$

$\tau$$\beta X$$\gamma Y$$1$

$$\log(Z) = \left(\log(\alpha) + \log(\beta) + \log(\gamma)\right) + \log(X) + \log(Y) + \tau$$

$$= \eta + \log(X) + \log(Y) + \tau.$$

$\eta$$\alpha$$\beta'$$\delta' = \beta' \gamma'$

Nie twierdzę, że jest to konieczny, a nawet jedyny krok do zrobienia, ale sugeruję, że tego rodzaju algebraiczne przegrupowanie modelu jest zwykle warte rozważenia, ilekroć same interakcje wydają się znaczące.

Niektóre doskonałe sposoby eksploracji modeli z interakcją, zwłaszcza z dwiema i trzema niezależnymi zmiennymi, pojawiają się w rozdziałach 10–13 EDA Tukeya .

Chociaż w podręcznikach często stwierdza się, że nigdy nie należy uwzględniać interakcji w modelu bez odpowiadających im głównych efektów, z pewnością istnieją przykłady, w których miałoby to doskonały sens. Dam ci najprostszy przykład, jaki mogę sobie wyobrazić.

Załóżmy, że osobników losowo przypisanych do dwóch grup mierzy się dwukrotnie, raz na początku (tj. Zaraz po randomizacji) i raz po grupie T, poddano leczeniu, podczas gdy grupa C nie. Następnie model powtarzanych pomiarów dla tych danych obejmowałby główny efekt okazji pomiarowej (zmienna fikcyjna, która wynosi 0 dla linii bazowej i 1 dla kontynuacji) oraz warunek interakcji między fikcyjnym grupą (0 dla C, 1 dla T ) i manekin czasu.

Model przechwytuje następnie szacuje średni wynik badanych na początku (niezależnie od grupy, w której się znajdują). Współczynnik dla manekina okazji pomiarowej wskazuje zmianę w grupie kontrolnej między wartością początkową a obserwacją. A współczynnik dla składnika interakcji wskazuje, o ile większa / mniejsza była zmiana w grupie leczonej w porównaniu z grupą kontrolną.

W tym przypadku nie jest konieczne uwzględnienie głównego efektu dla grupy, ponieważ na początku grupy są z definicji równoważne z powodu randomizacji.

Można oczywiście argumentować, że główny efekt dla grupy powinien być nadal uwzględniony, aby w przypadku niepowodzenia randomizacji zostanie to ujawnione w analizie. Jest to jednak równoważne testowaniu ze sobą średnich wartości obu grup. I jest wiele osób, które marszczą brwi podczas testowania różnic podstawowych w randomizowanych badaniach (oczywiście, jest też wielu, którzy uważają to za przydatne, ale to inna kwestia).

Przyczyną zachowania głównych efektów w modelu jest identyfikowalność. Dlatego jeśli celem jest wnioskowanie statystyczne o każdym z efektów, należy zachować główne efekty w modelu. Jeśli jednak twoim celem modelowania jest wyłącznie przewidywanie nowych wartości, to całkowicie uzasadnione jest uwzględnienie tylko interakcji, jeśli poprawi to dokładność predykcyjną.

jest to ukryte w wielu odpowiedziach udzielonych przez innych, ale prostota polega na tym, że modele bez określenia produktu, ale bez moderatora i predyktora są tylko różnymi modelami. Dowiedz się, co to oznacza, biorąc pod uwagę proces, który modelujesz i czy model bez moderatora i predyktora ma większy sens, biorąc pod uwagę twoją teorię lub hipotezę. Obserwacja, że ​​termin produktu jest znaczący, ale tylko wtedy, gdy nie uwzględniono moderatora i predyktora, nic ci nie mówi (z wyjątkiem być może szukania „znaczenia”) bez przekonującego wyjaśnienia, dlaczego warto je pominąć .

Prawdopodobnie zależy to od tego, do czego używasz swojego modelu. Ale nigdy nie widziałem powodu, aby nie uruchamiać i opisywać modeli z głównymi efektami, nawet w przypadkach, w których hipoteza dotyczy tylko interakcji.

Będę pożyczyć ustęp z książki Wprowadzenie do analizy przeżycia przy użyciu Stata przez M.Cleves, R.Gutierrez, W.Gould, Y.Marchenko edytowany przez Stata prasie odpowiedzieć na Twoje pytanie.

Powszechnie wiadomo, że efekty interakcji powinny być uwzględniane w modelu tylko wtedy, gdy uwzględniane są również odpowiednie efekty główne, ale nie ma nic złego w włączaniu samych efektów interakcji. [...] Celem badacza jest sparametryzowanie tego, co prawdopodobnie jest prawdziwe dla danych, biorąc pod uwagę problem, a nie tylko na podstawie recepty.

Zarówno x i y będą skorelowane z xy (chyba, że podjęły konkretne środki, aby temu zapobiec stosując centrowanie). Tak więc, jeśli uzyskasz znaczący efekt interakcji ze swoim podejściem, prawdopodobnie będzie to jeden lub więcej głównych efektów udających interakcję. Nie da to jasnych, możliwych do interpretacji wyników. Zamiast tego pożądane jest, aby zobaczyć, jak wiele interakcji może wyjaśnić ponad to, co robią główne efekty, włączając x , yi (najlepiej w następnym etapie) xy .

Jeśli chodzi o terminologię: tak, β 0 nazywa się „stałą”. Z drugiej strony „częściowy” ma określone znaczenie w regresji, więc nie użyłbym tego terminu do opisania tutaj twojej strategii.

W tym wątku opisano kilka interesujących przykładów, które pojawią się raz na niebieskim księżycu .

Sugerowałbym, że jest to po prostu szczególny przypadek niepewności modelu. Z perspektywy bayesowskiej po prostu traktujesz to w dokładnie taki sam sposób, jak traktujesz każdy inny rodzaj niepewności, poprzez:

1. Obliczanie prawdopodobieństwa, jeśli jest przedmiotem zainteresowania
2. Integrowanie lub uśrednianie, jeśli nie jest to interesujące, ale może mieć wpływ na twoje wnioski

Dokładnie to robią ludzie, testując „znaczące efekty” za pomocą kwantyli t zamiast normalnych kwantyli. Ponieważ masz wątpliwości co do „prawdziwego poziomu hałasu”, bierzesz to pod uwagę, stosując w testach bardziej rozproszony rozkład. Zatem z twojej perspektywy „główny efekt” jest w rzeczywistości „uciążliwym parametrem” w stosunku do zadawanego pytania. Więc po prostu uśredniasz dwa przypadki (lub bardziej ogólnie, biorąc pod uwagę modele, które rozważasz). Miałem więc (niejasną) hipotezę: D I P ( H i n t | D I ) = P ( H i n t | I ) P ( D | H i n t I

$$\newcommand{\int}{\mathrm{int}}H_{\int}:\text{The interaction between A and B is significant}$$ Powiedziałbym, że choć nie jest dokładnie zdefiniowane, na to pytanie chcesz odpowiedzieć tutaj. I zauważ, że to nie wypowiedzi słowne, takie jak powyżej, „definiują” hipotezę, ale także równania matematyczne. Mamy pewne dane i wcześniejsze informacje , a następnie po prostu obliczamy: (mała uwaga: bez względu na to, ile razy zapisuję to równanie, zawsze pomaga mi lepiej zrozumieć problem. Dziwne). Główną wielkością do obliczenia jest prawdopodobieństwo , nie odnosi się to do modelu, więc model musiał zostać usunięty przy użyciu prawa całkowitego prawdopodobieństwa: $D$$I$ $$P(H_{\int}|DI)=P(H_{\int}|I)\frac{P(D|H_{\int}I)}{P(D|I)}$$ $P(D|H_{int}I)$ $$P(D|H_{\int}I)=\sum_{m=1}^{N_{M}}P(DM_{m}|H_{\int}I)=\sum_{m=1}^{N_{M}}P(M_{m}|H_{\int}I)P(D|M_{m}H_{\int}I)$$ Gdzie indeksuje -ty model, a to liczba rozważanych modeli. Pierwszy termin to „waga modelu”, która mówi, jak bardzo dane i wcześniejsze informacje wspierają model mth. Drugi termin wskazuje, w jakim stopniu mth model obsługuje hipotezę. Ponowne podłączenie tego równania do pierwotnego twierdzenia Bayesa daje: $M_{m}$$N_{M}$ $$P(H_{\int}|DI)=\frac{P(H_{\int}|I)}{P(D|I)}\sum_{m=1}^{N_{M}}P(M_{m}|H_{\int}I)P(D|M_{m}H_{int}I)$$ $$=\frac{1}{P(D|I)}\sum_{m=1}^{N_{M}}P(DM_{m}|I)\frac{P(M_{m}H_{\int}D|I)}{P(DM_{m}|I)}=\sum_{m=1}^{N_{M}}P(M_{m}|DI)P(H_{\int}|DM_{m}I)$$

I widać z tego, że jest „warunkowym wnioskiem” hipotezy w ramach m-tego modelu (zwykle jest to wszystko, co jest brane pod uwagę, dla wybranego „najlepszego” modelu ). Zauważ, że ta standardowa analiza jest uzasadniona za każdym razem, gdy - model „oczywiście najlepszy” - lub gdy - wszystkie modele dają takie same / podobne wnioski. Jeśli jednak żaden z nich nie zostanie spełniony, to twierdzenie Bayesa mówi, że najlepszą procedurą jest uśrednienie wyników, umieszczając wyższe wagi na modelach, które są najbardziej wspierane przez dane i wcześniejsze informacje.P ( M m | D I ) ≈ 1 P ( H i n t | D M j I ) ≈ P ( H i n t | D M k I $P(H_{\int}|DM_{m}I)$$P(M_{m}|DI)\approx 1$$P(H_{\int}|DM_{j}I)\approx P(H_{\int}|DM_{k}I)$

Bardzo rzadko dobrym pomysłem jest dołączenie terminu interakcji bez uwzględnienia w nim głównych efektów. David Rindskopf z CCNY napisał kilka artykułów na temat tych rzadkich przypadków.

Istnieją różne procesy w naturze, które wymagają jedynie efektu interakcji i praw, które je opisują. Na przykład prawo Ohma. W psychologii masz na przykład model wydajności Vrooma (1964): Performance = Ability x Motivation. Teraz możesz spodziewać się znalezienia znaczącego efektu interakcji, gdy to prawo jest prawdziwe. Niestety tak nie jest. Możesz łatwo znaleźć dwa główne efekty i nieznaczny efekt interakcji (demonstrację i dalsze wyjaśnienia patrz Landsheer, van den Wittenboer i Maassen (2006), Social Science Research 35, 274-294). Model liniowy nie jest bardzo odpowiedni do wykrywania efektów interakcji; Ohm mógł nigdy nie znaleźć swojego prawa, gdyby użył modeli liniowych.

W rezultacie interpretacja efektów interakcji w modelach liniowych jest trudna. Jeśli masz teorię, która przewiduje efekt interakcji, powinieneś uwzględnić go nawet wtedy, gdy jest nieznaczny. Możesz zignorować główne efekty, jeśli Twoja teoria je wyklucza, ale będzie to trudne, ponieważ znaczące główne efekty często występują w przypadku prawdziwego mechanizmu generowania danych, który ma jedynie efekt multiplikatywny.

Moja odpowiedź brzmi: tak, poprawne może być uwzględnienie dwukierunkowej interakcji w modelu bez uwzględnienia głównych efektów. Modele liniowe są doskonałymi narzędziami do przybliżenia wyników wielu różnych mechanizmów generowania danych, ale ich formuł nie można łatwo interpretować jako prawidłowego opisu mechanizmu generowania danych.

Ten jest trudny i przydarzył mi się w moim ostatnim projekcie. Wyjaśniłbym to w ten sposób: załóżmy, że masz zmienne A i B, które wyszły znaczące niezależnie i z biznesowego punktu widzenia myślałeś, że interakcja A i B wydaje się dobra. Uwzględniłeś interakcję, która okazała się znacząca, ale B straciło na znaczeniu. Na początku wyjaśniłbyś swój model, pokazując dwa wyniki. Wyniki pokazałyby, że początkowo B była znacząca, ale gdy spojrzeć na nią w świetle A, straciła swój połysk. Zatem B jest dobrą zmienną, ale tylko w świetle różnych poziomów A (jeśli A jest zmienną kategorialną). To tak, jakby powiedzieć, że Obama jest dobrym przywódcą, gdy patrzy się na niego w świetle swojej armii SEAL. Tak więc pieczęć Obama * będzie znaczącą zmienną. Ale Obama, gdy widzi się go samego, może nie być tak ważny. (Bez obrazy dla Obamy, tylko przykład.)

F = m * a, siła równa jest masie razy przyspieszenie.

Nie jest reprezentowany jako F = m + a + ma lub jakaś inna liniowa kombinacja tych parametrów. Rzeczywiście, tylko interakcja między masą a przyspieszeniem miałaby sens fizyczny.

Czy kiedykolwiek uzasadnione jest uwzględnienie interakcji dwukierunkowej bez efektu głównego?

Tak, może być ważny, a nawet konieczny. Jeśli na przykład w 2. uwzględnisz czynnik dla efektu głównego (średnia różnica warunków niebieskiego i czerwonego), pogorszy to model.

Co jeśli twoja hipoteza dotyczy tylko interakcji, czy nadal musisz uwzględnić główne efekty?

Twoja hipoteza może być prawdziwa niezależnie od głównego efektu. Ale model może potrzebować go, aby najlepiej opisać podstawowy proces. Więc tak, powinieneś spróbować zi bez.

Uwaga: Musisz wyśrodkować kod zmiennej niezależnej „ciągłej” (pomiar w przykładzie). W przeciwnym razie współczynniki interakcji w modelu nie będą rozkładane symetrycznie (brak współczynnika dla pierwszego pomiaru w przykładzie).

Jeśli dane zmienne są kategoryczne, to uwzględnienie interakcji bez głównych efektów jest tylko ponowną parametryzacją modelu, a wybór parametryzacji zależy od tego, co próbujesz osiągnąć za pomocą modelu. Interakcja zmiennych ciągłych z innymi zmiennymi ciągłymi lub zmiennymi kategorialnymi to zupełnie inna historia. Zobacz: zobacz to najczęściej zadawane pytania z Instytutu Badań i Edukacji Cyfrowej UCLA

Tak, może to być poprawne, chociaż jest rzadkie. Ale w tym przypadku nadal musisz modelować główne efekty, które potem zrezygnujesz.

Rzeczywiście, w niektórych modelach interesująca jest tylko interakcja, na przykład testy leków / modele kliniczne. Jest to na przykład podstawa modelu uogólnionych interakcji psychofizjologicznych (gPPI): y = ax + bxh + chgdzie x/ysą woksele / regiony zainteresowania i hprojekty bloków / zdarzeń.

W tym modelu, jak ai cbędzie cofały się tylko bbędą przechowywane przez wnioskowanie (współczynniki beta). Rzeczywiście, zarówno ai cprzedstawiają aktywność fałszywy w naszym przypadku i tylko breprezentuje to, co nie może być wyjaśniona przez działalność fałszywych, interakcji z zadania.

Krótka odpowiedź: jeśli uwzględnisz interakcję w ustalonych efektach, główne efekty zostaną automatycznie uwzględnione, niezależnie od tego, czy włączysz je do kodu . Jedyną różnicą jest twoja parametryzacja, tj. Co oznaczają parametry w twoim modelu (np. Czy są to średnie grupowe, czy też różnią się od poziomów odniesienia).

Założenia: Zakładam, że pracujemy w ogólnym modelu liniowym i pytam, kiedy możemy użyć specyfikacji efektów stałych zamiast , gdzie i są czynnikami (kategorialnymi).$AB$$A + B + AB$$A$$B$

Wyjaśnienie matematyczne: Zakładamy, że wektor odpowiedzi . Jeśli , i są matrycami projektowymi dla trzech czynników, wówczas model z „głównymi efektami i interakcją” odpowiada ograniczeniu zakresie . Model z „tylko interakcją” odpowiada ograniczeniu span . Jednak zakres zakres . Są to dwie różne parametryzacje tego samego modeluX A X B X A B ξ ∈ { X A , X B , X A B } ξ ∈ { X A B } { X A B } = { X A , X B , X A B$Y \sim \mathcal N(\xi , \sigma^2 I_n )$$X_A$$X_B$$X_{AB}$$\xi \in$$\{X_A, X_B, X_{AB}\}$$\xi \in$$\{X_{AB}\}$$\{X_{AB}\} =$$\{X_A, X_B, X_{AB}\}$ (lub z tej samej rodziny dystrybucji, jeśli czujesz się bardziej komfortowo z tą terminologią).

Właśnie zobaczyłem, że David Beede udzielił bardzo podobnej odpowiedzi (przeprosiny), ale pomyślałem, że zostawię to tym, którzy dobrze reagują na algebrę liniową.