Naprawiono efekt vs efekt losowy, gdy wszystkie możliwości są zawarte w modelu efektów mieszanych

15

W modelu efektów mieszanych zaleca się stosowanie stałego efektu do oszacowania parametru, jeśli uwzględniono wszystkie możliwe poziomy (np. Zarówno mężczyzn, jak i kobiety). Ponadto zaleca się stosowanie efektu losowego w celu uwzględnienia zmiennej, jeśli uwzględnione poziomy są tylko losową próbką z populacji (pacjenci włączeni z wszechświata możliwych pacjentów), a zamiast średnich chcesz oszacować średnią populacji i wariancję poszczególnych poziomów czynników.

Zastanawiam się, czy jesteś logicznie zobowiązany do tego, aby zawsze używać stałego efektu w ten sposób. Zastanów się nad badaniem zmian rozmiaru stopy / buta w miarę rozwoju i związanych z, powiedzmy, wzrostem, wagą i wiekiem. Sidewyraźnie musi zostać w jakiś sposób uwzględniony w modelu, aby uwzględnić fakt, że pomiary na przestrzeni lat są zagnieżdżone w obrębie danej stopy i nie są niezależne. Co więcej, prawa i lewa to wszystkie możliwości, które mogą istnieć. Ponadto może być prawdą, że dla danego uczestnika jego prawa stopa jest większa (lub mniejsza) niż lewa. Jednak pomimo tego, że rozmiar stopy różni się nieco między stopami u wszystkich ludzi, nie ma powodu, aby sądzić, że prawa stopa będzie średnio większa niż stopa lewa. Jeśli znajdują się w twojej próbce, prawdopodobnie wynika to z genetyki ludzi w próbie, a nie z czegoś właściwego dla prawej stopy. Wreszcie, side wydaje się uciążliwości parametru, a nie coś naprawdę zależy.

Pragnę zauważyć, że wymyśliłem ten przykład. To może nie być dobre; chodzi tylko o to, aby ten pomysł został zrealizowany. Z tego, co wiem, posiadanie dużej prawej stopy i małej lewej stopy było konieczne do przetrwania w paleolicie.

Czy w takim przypadku sensowne byłoby (w większym / mniejszym stopniu) włączenie do modelu jako efektu losowego? Jakie byłyby zalety i wady korzystania ze stałego i losowego efektu tutaj? side

gung - Przywróć Monikę
źródło
dlaczego chcesz traktować stronę jako czynnik losowy, skoro istnieją dwa i tylko dwa poziomy tego czynnika? Skąd bierze się przypadkowość w ustawieniach problemu?
Aaron Zeng
@AaronZeng, odkładając na bok jakość mojego przykładu, oto moje pytanie. Czy kiedykolwiek istnieje jakiś powód do reprezentowania poziomów z efektami losowymi, jeśli masz wszystkie możliwe poziomy. Co jeśli dany czynnik miał> 2 poziomy?
gung - Przywróć Monikę
1
@gung Właśnie wróciłem do tego wątku - czy któraś z odpowiedzi pomogła? Jeśli nie - czego więcej chcesz się nauczyć? Może masz własną odpowiedź (jeśli tak, chciałbym dowiedzieć się więcej na ten temat!)?
Tim
2
Minęło dużo czasu, odkąd tu wróciłem, @Tim. Doceniam obie odpowiedzi (głosowałem na nie), ale nie są to dokładnie to, czego szukałem (prawdopodobnie z powodu niewystarczająco jasnego zestawienia pytań). Zastanawiałem się nad skompilowaniem odpowiedzi z niektórych rzeczy, które Ben Bolker opublikował w różnych miejscach, ale byłoby to trochę pracy i nigdy nie udało mi się tego zrobić. Nadal jednak powinienem to zrobić. Dzięki za szturchnięcie.
gung - Przywróć Monikę

Odpowiedzi:

13

Ogólny problem z efektami „ustalonymi” i „losowymi” polega na tym, że nie są one zdefiniowane w spójny sposób. Andrew Gelman cytuje kilka z nich:

(1) Efekty stałe są stałe u poszczególnych osób, a efekty losowe są różne. Na przykład, w badaniu wzrostu, model z losowych przecięcia I i stałe nachylenie B odpowiada linii równoległych do różnych jednostek I lub wzoru Y i T = a ı + b t . Kreft i De Leeuw (1998) rozróżniają zatem współczynniki stałe i losowe.aibiyit=ai+bt

(2) Efekty są ustalone, jeśli są interesujące same w sobie lub losowe, jeśli istnieje zainteresowanie populacją podstawową. Searle, Casella i McCulloch (1992, sekcja 1.4) badają to rozróżnienie dogłębnie.

(3) „Gdy próbka wyczerpuje populację, odpowiednia zmienna jest ustalona; gdy próbka stanowi niewielką (tj. nieistotną) część populacji, odpowiednia zmienna jest losowa. ”(Green and Tukey, 1960)

(4) „Jeżeli zakłada się, że efekt jest wartością zrealizowaną zmiennej losowej, nazywa się to efektem losowym.” (LaMotte, 1983)

(5) Ustalone efekty są szacowane przy użyciu najmniejszych kwadratów (lub, bardziej ogólnie, maksymalnego prawdopodobieństwa), a efekty losowe są szacowane z kurczeniem („liniowa bezstronna prognoza” w terminologii Robinsona, 1991). Ta definicja jest standardem w literaturze modelowania wielopoziomowego (patrz na przykład Snijders i Bosker, 1999, sekcja 4.2) oraz w ekonometrii.

i zauważa, że są nie spójne. W swojej książce Analiza danych przy użyciu regresji i modeli wielopoziomowych / hierarchicznych ogólnie unika używania tych terminów, aw swojej pracy skupia się na ustalonych lub zmieniających się przechwytywaniach i nachyleniach między grupami, ponieważ

Naprawione efekty można traktować jako specjalne przypadki efektów losowych, w których wariancja wyższego poziomu (w modelu (1.1), byłoby to ) jest ustawiona na 0 lub . Stąd w naszych ramach wszystkie parametry regresji są „losowe”, a termin „wielopoziomowy” obejmuje wszystko.σα20

Jest to szczególnie prawdziwe w przypadku szkieletu Bayesa - powszechnie stosowanego w modelach mieszanych - gdzie wszystkie efekty są losowe same w sobie. Jeśli myślisz o Bayesianie, tak naprawdę nie przejmujesz się „ustalonymi” efektami i oszacowaniami punktów i nie masz problemu z traktowaniem wszystkich efektów jako losowych.

Im więcej czytam na ten temat, tym bardziej jestem przekonany, że jest to raczej ideologiczna dyskusja na temat tego, co możemy (lub powinniśmy) oszacować i co możemy tylko przewidzieć (tutaj mogę odnieść się również do twojej własnej odpowiedzi ). Korzystasz z efektów losowych, jeśli masz losową próbkę możliwych wyników, więc nie martwisz się indywidualnymi szacunkami i zależy ci raczej na efektach populacji, a następnie jednostkach. Zatem odpowiedź na twoje pytanie zależy również od tego, co myślisz, jeśli chcesz lub możesz oszacować ustalone efekty na podstawie twoich danych. Jeśli wszystkie możliwe poziomy są zawarte w twoich danych, możeszoszacuj ustalone efekty - również, podobnie jak w twoim przykładzie, liczba poziomów może być niewielka, co ogólnie nie byłoby dobre do oszacowania efektów losowych i istnieją pewne minimalne wymagania w tym zakresie .

Argument najlepszego scenariusza

Powiedz, że masz nieograniczoną ilość danych i nieograniczoną moc obliczeniową. W takim przypadku można sobie wyobrazić oszacowanie każdego efektu jako ustalonego, ponieważ ustalone efekty dają większą elastyczność (pozwalają nam porównać poszczególne efekty). Jednak nawet w tym przypadku większość z nas niechętnie stosuje stałe efekty do wszystkiego.

Na przykład wyobraź sobie, że chcesz modelować wyniki egzaminów ze szkół w danym regionie i masz dane dotyczące wszystkich 100 szkół w regionie. W takim przypadku możesz zagrozić szkołom jako ustalonym - ponieważ masz dane na wszystkich poziomach - ale w praktyce prawdopodobnie wolisz myśleć o nich jako przypadkowych. Dlaczego?

  1. Jednym z powodów jest to, że generalnie w tego rodzaju przypadkach nie interesują cię efekty poszczególnych szkół (i trudno jest porównać wszystkie), a raczej ogólna zmienność między szkołami.

  2. Kolejnym argumentem tutaj jest modelowe parsimony. Zasadniczo nie jesteś zainteresowany modelem „każdego możliwego wpływu”, więc do swojego modelu dołączasz kilka ustalonych efektów, które chcesz przetestować i kontrolować dla innych możliwych źródeł zmienności. To sprawia, że ​​modele efektów mieszanych pasują do ogólnego sposobu myślenia o modelowaniu statystycznym, w którym szacujesz coś i kontrolujesz inne rzeczy. W przypadku skomplikowanych (wielopoziomowych lub hierarchicznych) danych masz wiele efektów do uwzględnienia, więc grozisz niektórym jako „ustalone”, a niektóre jako „losowe”, aby je kontrolować.

  3. W tym scenariuszu nie pomyślałbyś również o szkołach, które mają swój własny, niepowtarzalny wpływ na wyniki, a raczej o szkołach, które mają pewien wpływ w ogóle. Tak więc ten argument byłby taki, że uważamy , że tak naprawdę nie jest możliwe oszacowanie unikalnych efektów poszczególnych szkół, dlatego grożymy im jako losową próbką możliwych efektów szkół.

Modele z efektami mieszanymi znajdują się gdzieś pomiędzy scenariuszami „wszystko naprawione” i „wszystko losowe”. Dane, które napotykamy, pozwalają nam obniżyć nasze oczekiwania co do oszacowania wszystkiego jako efekty ustalone, więc decydujemy, jakie efekty chcemy porównać i jakie efekty chcemy kontrolować, lub ogólnie odczuwamy ich wpływ. Nie chodzi tylko o to, jakie są dane, ale także o to, jak myślimy o danych podczas ich modelowania.

Tim
źródło
Wiele dobrych punktów tutaj, @Tim. Zastanawiam się, jakie jest twoje zdanie na przykładzie Gunga w OP; w komentarzach pod moją odpowiedzią trwała długa dyskusja, ale myślę, że do tej pory jest ona mniej więcej rozwiązana. Dobrze byłoby wiedzieć, czy zgadzasz się, a może nie, z tym, co napisałem.
ameba mówi Przywróć Monikę
@amoeba to interesująca odpowiedź (już dałem +1) i zgadzam się z twoim punktem widzenia. Myślę, że zasadniczo gung ma rację (tak samo jak Gelman - który zawsze ma rację :)), że nie ma jednej odpowiedzi. Istnieje ogromna literatura i wiele sposobów na zastosowanie modeli z efektami mieszanymi i brak wyraźnego rozróżnienia. Co więcej, są ludzie, którzy domyślnie zawsze używają stałych efektów do wszystkiego i są tacy, którzy używają losowych efektów, kiedy tylko mogą, nawet w przypadkach, które ogólnie wolelibyśmy uznać za stałe efekty ... Zależy to również od tego, co dokładnie chcesz Model.
Tim
13

Streszczenie wykonawcze

Rzeczywiście często mówi się, że jeśli wszystkie możliwe poziomy czynników są uwzględnione w modelu mieszanym, to czynnik ten należy traktować jako efekt stały. To niekoniecznie jest DOTYCZĄCE DWÓCH ROZRÓŻNYCH POWODÓW:

(1) Jeśli liczba poziomów jest duża, sensowne może być potraktowanie czynnika [skrzyżowanego] jako losowego.

Zgadzam się z @Tim i @RobertLong tutaj: jeśli czynnik ma dużą liczbę poziomów, które wszystkie są uwzględnione w modelu (np. Wszystkie kraje na świecie; lub wszystkie szkoły w kraju; a może cała populacja badani są badani itp.), wtedy nie ma nic złego w traktowaniu go jako losowego --- może to być bardziej oszczędne, może powodować pewien skurcz itp.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Jeśli czynnik jest zagnieżdżony w innym losowym efekcie, należy go traktować jako losowy, niezależnie od liczby poziomów.

W tym wątku było ogromne zamieszanie (patrz komentarze), ponieważ inne odpowiedzi dotyczą przypadku nr 1 powyżej, ale podany przez ciebie przykład jest przykładem innej sytuacji, mianowicie tego przypadku nr 2. Tutaj są tylko dwa poziomy (tj. Wcale nie „duża liczba”!) I wyczerpują wszystkie możliwości, ale są zagnieżdżone w innym losowym efekcie , dając zagnieżdżony efekt losowy.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

Szczegółowa dyskusja twojego przykładu

Strony i przedmioty w twoim wyimaginowanym eksperymencie są powiązane jak klasy i szkoły w standardowym przykładzie modelu hierarchicznego. Być może każda szkoła (# 1, # 2, # 3 itd.) Ma klasę A i klasę B, a te dwie klasy powinny być mniej więcej takie same. Nie będziesz modelować klas A i B jako stałego efektu z dwoma poziomami; to byłby błąd. Nie będziesz jednak modelować klas A i B jako „osobnego” (tj. Skrzyżowanego) efektu losowego z dwoma poziomami; to też byłby błąd. Zamiast tego zamodelujesz klasy jako zagnieżdżony efekt losowy w szkołach.

Zobacz tutaj: Skrzyżowane vs zagnieżdżone efekty losowe: czym się różnią i jak są poprawnie określone w lme4?

i=1nj=1,2

Sizeijk=μ+αHeightijk+βWeightijk+γAgeijk+ϵi+ϵij+ϵijk
ϵiN(0,σsubjects2),Random intercept for each subject
ϵijN(0,σsubject-side2),Random int. for side nested in subject
ϵijkN(0,σnoise2),Error term

Jak sam napisałeś, „nie ma powodu, aby sądzić, że prawa stopa będzie średnio większa niż lewa”. Zatem nie powinno być żadnego „globalnego” efektu (ani stałego, ani losowego skrzyżowania) prawej lub lewej stopy; zamiast tego można pomyśleć o tym, że każdy ma stopę „jedną” i „drugą”, a tę zmienność powinniśmy uwzględnić w modelu. Te „jedna” i „druga” stopa są zagnieżdżone w podmiotach, stąd zagnieżdżone efekty losowe.

Więcej szczegółów w odpowiedzi na komentarze. [26 września]

Mój model powyżej zawiera Side jako zagnieżdżony efekt losowy w Tematach. Oto alternatywny model, sugerowany przez @Robert, w którym Side jest stałym efektem:

Sizeijk=μ+αHeightijk+βWeightijk+γAgeijk+δSidej+ϵi+ϵijk

ij

Nie może

To samo dotyczy hipotetycznego modelu @ gung z Side jako efektem losowym skrzyżowania:

Sizeijk=μ+αHeightijk+βWeightijk+γAgeijk+ϵi+ϵj+ϵijk

Nie uwzględnia również zależności.

Demonstracja za pomocą symulacji [2 października]

Oto bezpośrednia demonstracja w języku R.

Generuję zestaw danych zabawek z pięcioma badanymi mierzonymi na obu stopach przez pięć kolejnych lat. Wpływ wieku jest liniowy. Każdy obiekt ma losowy punkt przechwytywania. I każdy obiekt ma jedną stopę (lewą lub prawą) większą od drugiej.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Przepraszamy za moje okropne umiejętności R. Oto jak wyglądają dane (każda kolejna pięć kropek to jedna stopa jednej osoby mierzona na przestrzeni lat; każda kolejna dziesięć kropek to dwie stopy tej samej osoby):

wprowadź opis zdjęcia tutaj

Teraz możemy zmieścić kilka modeli:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Wszystkie modele mają ustalony efekt agelosowy i efekt losowy subject, ale traktują sideinaczej.

  1. sideaget=1.8

  2. sideaget=1.4

  3. sideaget=37

To wyraźnie pokazuje, że sidenależy je traktować jako zagnieżdżony efekt losowy.

Wreszcie w komentarzach @Robert zasugerował uwzględnienie globalnego efektu sidejako zmiennej kontrolnej. Możemy to zrobić, zachowując zagnieżdżony efekt losowy:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

Te dwa modele niewiele różnią się od # 3. Model 4 daje niewielki i nieznaczny stały efekt side(t=0.5side

ameba mówi Przywróć Monikę
źródło
2
Naprawdę nie sądzę, aby w tym przykładzie sidespełniała jakąkolwiek zwykłą definicję / wytyczne, kiedy czynnik powinien być traktowany jako losowy vs. ustalony. W szczególności wyciąganie wniosków poza próbkowane poziomy współczynnika jest bez znaczenia. Co więcej, mając tylko 2 poziomy tego współczynnika, traktowanie go jako ustalonego wydaje się niejednoznacznym i prostym sposobem podejścia do modelowania.
Robert Long,
Robert, dzięki za odpowiedź. Albo jestem całkowicie zdezorientowany, albo nie wyjaśniłem poprawnie, co mam na myśli. Traktowanie sidejako efekt stały oznacza zakładanie, że jedna strona (np. Prawa) jest zawsze większa od drugiej (lewa), o określoną wartość. Ta kwota jest taka sama dla wszystkich ludzi. To nie jest wyraźnie to, co miał na myśli PO. Napisał, że u niektórych osób prawo może być większe, au niektórych - lewica. Musimy jednak uwzględnić to sideze względu na skorelowane błędy. Dlaczego więc nie możemy traktować tego jako zagnieżdżonego efektu losowego? To dokładnie tak, jak zajęcia w szkołach.
ameba mówi Przywróć Monikę
Nie wiem, czy to koniecznie implikuje. Mówi, że w tej próbce może występować systematyczna różnica między stronami (która może, ale nie musi być artefaktem z powodu zmienności próbkowania). Wolę myśleć o włączeniu go jako ustalonego efektu jako „kontrolowaniu” braku niezależności i niczym więcej - w ten sam sposób, w jaki dodalibyśmy zamieszanie do modelu, a nawet nie marzyliśmy o interpretacji jego współczynnika.
Robert Long,
2
Głosuję nad odpowiedzią po dalszych refleksjach. Podnosisz kilka naprawdę interesujących punktów. W tej chwili nie mam czasu, aby zagłębić się w matematykę tego. Chciałbym znaleźć zbiór danych o zabawkach, o ile to możliwe (jeśli je znasz, daj mi znać)
Robert Long
2
+1, po dalszej refleksji wydaje się, że masz rację co do osobliwości tego badania. Czy większy punkt jest taki, że nie ma jednej odpowiedzi na efekt stały vs losowy, gdy uwzględnione są wszystkie możliwości, i każdy przypadek musi być oceniany indywidualnie, zastanawiam się?
gung - Przywróć Monikę
7

Aby dodać do innych odpowiedzi:

Nie sądzę, abyś był logicznie zobowiązany do stosowania stałego efektu w sposób opisany w PO. Nawet jeśli nie są spełnione zwykłe definicje / wytyczne, kiedy należy traktować czynnik jako losowy, mogę być skłonny nadal modelować go jako losowy, gdy istnieje duża liczba poziomów, tak więc traktowanie współczynnika jako ustalonego zużyłoby wiele stopni wolność i wynikający z tego uciążliwy i mniej oszczędny model.

Robert Long
źródło
Wydaje się to rozsądne i doceniam to, że mój przykład nie oślepił cię. Na tej podstawie i wasz komentarz do odpowiedzi @ amoeba, że ​​„gdy jest duża liczba poziomów” (w porównaniu z „tylko 2 poziomami czynnika”) wydaje się być kluczowy.
gung - Przywróć Monikę
1
+1, ponieważ zgadzam się z tym punktem, trochę mnie to napędza szału , że nie wyjaśniłem mojego punktu i że ani ty, ani @ gung nie rozumiesz, co miałem na myśli. Traktowanie sideefektu losowego jako ustalonego lub skrzyżowanego koniecznie oznacza założenie, że jedna ze stron (np. Prawa) jest zawsze większa niż druga (Lewa), dla wszystkich badanych. Nie jest to wyraźnie to, co napisał Gung w swoim OP, stwierdzając, że „nie ma powodu, aby sądzić, że prawa stopa będzie średnio większa niż lewa”. Nadal widzę przykład Gunga jako wyraźny przypadek zagnieżdżonego efektu losowego, w pełnej analogii z klasami w szkołach.
ameba mówi Przywróć Monikę
@amoeba interesujący punkt, ale nie zgadzam się. Skomentuję w komentarzach do twojej odpowiedzi ...
Robert Long,
4

Jeśli mówisz o sytuacji, w której znasz wszystkie możliwe poziomy interesującego Cię czynnika, a także posiadasz dane do oszacowania efektów, to zdecydowanie nie musisz przedstawiać poziomów z efektami losowymi.

Powodem, dla którego chcesz ustawić czynnik losowy na czynnik, jest fakt, że chcesz wnioskować na temat efektów wszystkich poziomów tego czynnika, które zwykle są nieznane. Aby dokonać tego rodzaju wnioskowania, zakłada się założenie, że skutki wszystkich poziomów tworzą ogólnie rozkład normalny. Ale biorąc pod uwagę ustawienie problemu, możesz oszacować skutki wszystkich poziomów. Zatem z pewnością nie ma potrzeby ustawiania efektów losowych i narzucania dodatkowych założeń.

To tak, jakbyś był w stanie uzyskać wszystkie wartości populacji (więc znasz prawdziwą średnią), ale próbujesz pobrać dużą próbkę z populacji i użyć centralnego twierdzenia o granicy, aby oszacować rozkład próbkowania, a następnie wnioskować na temat prawdziwego środka.

Aaron Zeng
źródło
2
Jeden komentarz: czasami masz wszystkie poziomy, ale nadal używasz dla nich losowego efektu. Np. Prowadzisz ogólnokrajowe badania na temat edukacji i posiadasz dane dotyczące wszystkich szkół, ale nadal będziesz używał losowego efektu dla szkół zamiast używać manekinów dla każdej szkoły.
Tim