Kiedy stosować model z efektem mieszanym?

Liniowe modele mieszanych efektów są rozszerzeniami modeli regresji liniowej dla danych gromadzonych i podsumowywanych w grupach. Kluczową zaletą jest to, że współczynniki mogą się różnić w odniesieniu do jednej lub więcej zmiennych grupowych.

Mam jednak problem z tym, kiedy użyć modelu z efektem mieszanym? Rozwiążę moje pytania na przykładzie zabawki w ekstremalnych przypadkach.

Załóżmy, że chcemy modelować wzrost i wagę zwierząt i używamy gatunków jako zmiennej grupującej.

• Jeśli inna grupa / gatunek są naprawdę różne. Powiedz psa i słonia. Myślę, że nie ma sensu używać modelu z efektem mieszanym, powinniśmy zbudować model dla każdej grupy.

• Jeśli inna grupa / gatunek są naprawdę podobne. Powiedz samicę i samca. Myślę, że możemy chcieć wykorzystać płeć jako zmienną kategoryczną w modelu.

Zakładam, że powinniśmy stosować model z efektem mieszanym w środkowych przypadkach? Powiedzmy, że grupa to kot, pies, królik, zwierzęta podobnej wielkości, ale różne.

Czy istnieje jakikolwiek formalny argument sugerujący, kiedy stosować model z efektem mieszanym, tj. Jak rysować linie między

1. Budowanie modeli dla każdej grupy
2. Model z efektem mieszanym
3. Użyj grupy jako zmiennej jakościowej w regresji

Moja próba: Metoda 1 jest najbardziej „złożonym modelem” / mniejszym stopniem swobody, a metoda 3 jest najbardziej „prostym modelem” / większym stopniem swobody. Model z efektem mieszanym znajduje się pośrodku. Możemy zastanowić się, ile danych i jak skomplikowane dane musimy wybrać odpowiedni model według Bais Variance Trade Off.

Obawiam się, że mógłbym uzyskać zgrubioną i być może niezadowalającą odpowiedź, że jest to subiektywny wybór badacza lub analityka danych. Jak wspomniano w innym miejscu tego wątku, nie wystarczy po prostu powiedzieć, że dane mają „zagnieżdżoną strukturę”. Szczerze mówiąc, tyle książek opisuje, kiedy stosować modele wielopoziomowe. Na przykład właśnie wyciągnąłem książkę Joop Hox Multilevel Analysis z mojej półki, co daje następującą definicję:

Problem wielopoziomowy dotyczy populacji o strukturze hierarchicznej.

Nawet w całkiem dobrym podręczniku początkowa definicja wydaje się kolista. Myślę, że jest to częściowo spowodowane subiektywnością określania, kiedy użyć jakiego rodzaju modelu (w tym modelu wielopoziomowego).

Inna książka, Linear Mixed Models , West, Welch i Galecki mówi, że te modele są przeznaczone do:

zmienne wynikowe, w których reszty są normalnie rozmieszczone, ale mogą nie być niezależne lub mieć stałą wariancję. Projekty badań prowadzące do zestawów danych, które można odpowiednio analizować za pomocą LMM, obejmują (1) badania z danymi klastrowymi, takimi jak uczniowie w klasach, lub projekty eksperymentalne z losowymi blokami, takimi jak partie surowca do procesu przemysłowego, oraz (2) badania podłużne lub powtarzane, w których osobniki są mierzone wielokrotnie w czasie lub w różnych warunkach.

Modelowanie wielopoziomowe Fincha, Bolina i Kelleya w R mówi również o naruszeniu założenia iid i skorelowanych reszt:

Szczególnie ważne w kontekście modelowania wielopoziomowego jest założenie [w regresji standardowej] niezależnie rozłożonych terminów błędów dla poszczególnych obserwacji w próbie. To założenie zasadniczo oznacza, że ​​po uwzględnieniu zmiennych niezależnych w analizie nie ma zależności między osobami w próbie dla zmiennej zależnej.

Uważam, że model wielopoziomowy ma sens, gdy istnieje powód, by sądzić, że obserwacje niekoniecznie są od siebie niezależne. Cokolwiek „klaster” bierze pod uwagę w przypadku tej nie-niezależności, można modelować.

Oczywistym przykładem mogą być dzieci w klasach - wszystkie one wchodzą ze sobą w interakcje, co może prowadzić do braku niezależności wyników testu. Co jeśli jedna klasa ma kogoś, kto zadaje pytanie, które prowadzi do objęcia materiału tą klasą, która nie jest objęta innymi klasami? Co się stanie, jeśli nauczyciel będzie bardziej obudzony na niektóre klasy niż na inne? W takim przypadku miałaby miejsce pewna niezależność danych; w słowach wielopoziomowych moglibyśmy oczekiwać, że pewna wariancja zmiennej zależnej będzie spowodowana przez klaster (tj. klasę).

Twój przykład psa kontra słonia zależy, jak sądzę, od niezależnych i zależnych zmiennych. Załóżmy na przykład, że pytamy, czy kofeina ma wpływ na poziom aktywności. Zwierzęta z całego zoo są losowo przydzielane do otrzymania napoju z kofeiną lub napoju kontrolnego.

Jeśli jesteśmy badaczami zainteresowanymi kofeiną, moglibyśmy określić model wielopoziomowy, ponieważ naprawdę zależy nam na działaniu kofeiny. Ten model zostałby określony jako:

activity ~ condition + (1+condition|species)

Jest to szczególnie pomocne, jeśli istnieje duża liczba gatunków, nad którymi testujemy tę hipotezę. Jednak naukowiec może być zainteresowany specyficznymi dla gatunku skutkami kofeiny. W takim przypadku mogliby określić gatunek jako stały efekt:

activity ~ condition + species + condition*species

Jest to oczywiście problem, jeśli istnieje, powiedzmy, 30 gatunków, tworząc nieporęczny projekt 2 x 30. Możesz jednak wykazać się kreatywnością dzięki modelowaniu tych relacji.

Na przykład niektórzy badacze opowiadają się za jeszcze szerszym zastosowaniem modelowania wielopoziomowego. Gelman, Hill i Yajima (2012) twierdzą, że modelowanie wielopoziomowe może być wykorzystane jako korekta wielu porównań - nawet w badaniach eksperymentalnych, w których struktura danych nie ma oczywiście hierarchicznej natury:

Trudniejsze problemy powstają podczas modelowania wielu porównań o większej strukturze. Załóżmy na przykład, że mamy pięć miar wyników, trzy odmiany leczenia i podgrupy sklasyfikowane według dwóch płci i czterech grup rasowych. Nie chcielibyśmy modelować tej struktury 2 × 3 × 4 × 5 jako 120 wymiennych grup. Nawet w tych bardziej złożonych sytuacjach uważamy, że modelowanie wielopoziomowe powinno i ostatecznie zastąpi klasyczne procedury wielokrotnych porównań.

Problemy można modelować na różne sposoby, aw niejednoznacznych przypadkach wiele podejść może wydawać się pociągających. Myślę, że naszym zadaniem jest wybrać rozsądne, świadome podejście i zrobić to w sposób przejrzysty.

Możesz oczywiście zbudować model dla każdej innej grupy, nie ma w tym nic złego. Wymagałoby to jednak większego rozmiaru próbki i zarządzania wieloma modelami.

Korzystając z modelu mieszanego, gromadzisz (i udostępniasz) dane razem, a zatem potrzebujesz mniejszej wielkości próbki.

Robiąc to, dzielimy się siłą statystyczną. Chodzi o to, że coś, co możemy wnioskować dobrze w jednej grupie danych, może nam pomóc w czymś, czego nie możemy wnioskować dobrze w innej grupie.

Modele mieszane zapobiegają również niesprawiedliwie dominującemu wnioskowaniu grupom z nadmiernej próby.

Chodzi mi o to, że jeśli chcesz modelować leżącą u podstaw strukturę hierarchiczną, powinieneś dodać losowe efekty do swojego modelu. W przeciwnym razie, jeśli nie zależy ci na interpretacji modelu, nie używasz go.

https://www.dropbox.com/s/rzi2rsou6h817zz/Datascience%20Presentation.pdf?dl=0

daje odpowiednią dyskusję. Autor omówił, dlaczego nie chce uruchamiać osobnych modeli regresji.

W modelach efektów mieszanych dodajesz do modelu wyrażenia losowe (błąd), dzięki czemu „mieszasz” efekty stałe i losowe. Tak więc innym podejściem do rozważenia, kiedy zastosować modele efektów mieszanych, może być przyjrzenie się, czym jest „efekt losowy”. Dlatego oprócz wcześniej udzielonych odpowiedzi, rozróżnienie między terminami „ustalonymi” i „losowymi” efektami Batesa (2010) jest pouczające, sekcja 1.1 (zwłaszcza strona 2).

Parametry związane z poszczególnymi poziomami zmiennych towarzyszących są czasami nazywane „efektami” poziomów. Jeśli zbiór możliwych poziomów współzmiennej jest stały i odtwarzalny , modelujemy zmienną towarzyszącą za pomocą parametrów efektów stałych. Jeśli zaobserwowane poziomy reprezentują losową próbkę ze zbioru wszystkich możliwych poziomów , w modelu uwzględniamy efekty losowe. Istnieją dwie rzeczy, na które należy zwrócić uwagę w związku z tym rozróżnieniem między parametrami efektów stałych i efektami losowymi. Po pierwsze, nazwy wprowadzają w błąd, ponieważ rozróżnienie między stałym a losowym jest bardziej właściwością poziomów współzmiennika jakościowego niż właściwością związanych z nimi efektów.

Ta definicja często ma zastosowanie do niektórych hierarchicznych struktur, takich jak kraje lub klasy, ponieważ zawsze masz „losową” próbkę krajów lub klas - dane nie zostały zebrane ze wszystkich możliwych krajów lub klas.

Płeć jest jednak ustalona (lub przynajmniej traktowana jako ustalona). Jeśli masz osoby płci męskiej lub żeńskiej, nie ma już innych poziomów płci (mogą istnieć wyjątki dotyczące płci, ale jest to w większości ignorowane).

Lub powiedz poziom wykształcenia: Jeśli zapytasz, czy ludzie mają wykształcenie niższe, średnie lub wyższe, nie ma już poziomów, więc nie pobrałeś „losowej” próbki wszystkich możliwych poziomów wykształcenia (stąd jest to ustalony efekt).

Korzystasz z modeli mieszanych, gdy możliwe jest przyjęcie pewnych racjonalnych założeń, opartych na projekcie badania, na temat charakteru korelacji między obserwacjami a wnioskowanie jest pożądane na poziomie indywidualnym lub efektów warunkowych . Modele mieszane pozwalają na specyfikację efektów losowych, które są wygodną reprezentacją struktur korelacji, które powstają naturalnie w zbiorze danych.

Najczęstszym typem modelu mieszanego jest model losowego przechwytywania, który szacuje utajony rozkład wspólnych stałych mających 0-średnią, rozkład normalny wariancji skończonej w skupiskach osób zidentyfikowanych w zbiorze danych. Takie podejście uwzględnia potencjalnie setki mylących czynników wspólnych dla grup obserwacji lub skupień, ale różniących się między skupieniami.

Drugim powszechnym typem modelu mieszanego jest model losowych nachyleń, który podobnie jak model losowych przechwytuje, szacuje rozkład utajony interakcji predykcyjnych w czasie, który ponownie pochodzi ze średniej 0, rozkładu normalnego skończonej wariancji w badaniu panelowym lub klastrach obserwacji mierzonych prospektywnie lub podłużnie.

Wyniki te są z grubsza podobne do wyników uzyskanych przy użyciu uogólnionego najmniejszego kwadratu i algorytmu EM do iteracyjnego oszacowania parametrów modelu i kowariancji między tymi zależnymi obserwacjami (a ściślej ich resztami). Ważone najmniejsze kwadraty są bardziej wydajne niż najmniejsze kwadraty, gdy znana jest kowariancja między obserwacjami. Chociaż kowariancja jest rzadko znana, można założyć, że przybiera ona określoną strukturę i może być szacowana iteracyjnie. Model przechwytywania losowego daje podobne wnioski i prawdopodobieństwa do ważonych najmniejszych kwadratów mających wymienną strukturę korelacji, gdzie jeśliY 1 , Y 2 c o r ( Y t , Y s ) = ρ | t - s | Y t , Y s t , $cor(Y_1, Y_2) = \rho$$Y_1, Y_2$są w tym samym klastrze, a 0 w przeciwnym razie. Model losowych spadków daje podobne wnioski i prawdopodobieństwa do ważonych najmniejszych kwadratów o strukturze korelacji autoregresyjnej 1, gdzie jeśli są obserwacjami na tej samej próbce w różnych momentach i 0 w przeciwnym razie. Wyniki nie są identyczne, ponieważ losowe przechwytywanie zmusza do pozytywnego powiązania obserwacji w klastrach, co prawie zawsze jest rozsądnym założeniem.$cor(Y_t, Y_s) = \rho^{|t-s|}$$Y_t, Y_s$$t, s$

Efekty indywidualne lub warunkowe można skontrastować z efektami populacyjnymi lub marginalnymi. Efekty marginalne reprezentują efekt w populacji z interwencji lub badań przesiewowych. Na przykład interwencja w celu zwiększenia zgodności w rehabilitacji nadużywania substancji może obejmować uczestnictwo w badaniu przez 3 miesiące w grupie pacjentów przyjętych z różnych przyczyn. Czas użytkowania może być różny dla różnych pacjentów i silnie przewidywać zgodność z warsztatem, przy dłuższym korzystaniu z uczestników mających większe skłonności uzależniające i unikanie. Analiza na poziomie indywidualnym może wykazać, że badanie jest skuteczne pomimo faktu, że uczestnicy z dłuższym uzależnieniem nie brali udziału przed otrzymaniem interwencji i nadal nie brali udziału po interwencji.

Efekty marginalne mają mniej precyzyjne wnioskowanie ze względu na ignorowanie jednorodności klastrów w czasie lub przestrzeni. Można je oszacować za pomocą uogólnionych równań szacunkowych lub marginalizując modele mieszane.

Efekty mieszane należy stosować, gdy dane mają strukturę zagnieżdżoną lub hierarchiczną. To faktycznie narusza założenie niezależności pomiarów, ponieważ wszystkie pomiary w tej samej grupie / poziomie są skorelowane. W przypadku

„Jeśli różne grupy / gatunki są naprawdę podobne. Powiedzmy suczce i samcu. Myślę, że możemy chcieć użyć płci jako zmiennej kategorialnej w modelu”.

płeć byłaby zmienna czynnikowa i efekt stały, podczas gdy zmienność rozmiarów psów w obrębie płci jest efektem losowym. Mój model byłby

response ~ sex + (1|size), data=data

Intuicyjnie króliki, psy i koty powinny być modelowane osobno, ponieważ rozmiary psów i kotów nie są skorelowane, jednak wielkość dwóch psów jest rodzajem zmienności „wewnątrzgatunkowej”.