Dozwolone porównania modeli efektów mieszanych (przede wszystkim efektów losowych)

20

Patrzyłem na modelowanie efektów mieszanych przy użyciu pakietu lme4 w R. Używam głównie lmerpolecenia, więc zadam pytanie poprzez kod, który używa tej składni. Przypuszczam, że ogólne łatwe pytanie może być takie: czy można porównywać dowolne dwa modele zbudowane przy lmerużyciu współczynników wiarygodności opartych na identycznych zestawach danych? Uważam, że odpowiedzią na to musi być „nie”, ale mogę się mylić. Przeczytałem sprzeczne informacje na temat tego, czy efekty losowe muszą być takie same, czy też nie, i co to oznacza? Przedstawię więc kilka przykładów. Wyciągnę je z danych z powtarzanych pomiarów za pomocą bodźców słownych, być może coś takiego jak Baayen (2008) byłoby przydatne w interpretacji.

Powiedzmy, że mam model, w którym istnieją dwa predyktory efektów stałych, nazwiemy je A i B, a niektóre efekty losowe ... słowa i podmioty, które je dostrzegły. Mógłbym zbudować model podobny do następującego.

m <- lmer( y ~ A + B + (1|words) + (1|subjects) )

(zauważ, że celowo pominąłem data =i założymy, że zawsze mam na myśli REML = FALSEdla jasności)

Teraz z poniższych modeli, które można porównać ze współczynnikiem prawdopodobieństwa do powyższego, a które nie?

m1 <- lmer( y ~ A + B + (A+B|words) + (1|subjects) )
m2 <- lmer( y ~ A + B + (1|subjects) )              
m3 <- lmer( y ~ A + B + (C|words) + (A+B|subjects) )
m4 <- lmer( y ~ A + B + (1|words) )                 
m5 <- lmer( y ~ A * B + (1|subjects) )   

Przyznaję, że interpretacja niektórych z tych różnic może być trudna lub niemożliwa. Ale odłóżmy to na chwilę. Chcę tylko wiedzieć, czy w tych zmianach jest coś fundamentalnego, co wyklucza możliwość porównania. Chcę również wiedzieć, czy, jeśli LR są w porządku, a także porównania AIC.

Jan
źródło
1
Powiązane: stats.stackexchange.com/questions/117497 . Zobacz także bbolker.github.io/mixedmodels-misc/… .
ameba mówi Przywróć Monikę
(Zauważyłem, że usunąłeś tag [testowanie hipotez], który wcześniej dodałem. Cóż, zależy od ciebie, ale myślę, że jest odpowiedni: test współczynnika prawdopodobieństwa jest wyraźnie procedurą testowania hipotez, a [model mieszany] + [testowanie hipotez ] jest IMHO pouczającą kombinacją tagów, patrz stats.stackexchange.com/questions/tagged/… )
mówi Przywróć Monikę
Edytowano, aby usunąć „test” z LR. LR można interpretować bez testu, dzięki czemu jest bardziej równoległy do ​​AIC i lepiej podąża za moją rzeczywistą intencją. Dzięki za zwrócenie na to uwagi.
Jan

Odpowiedzi:

13

Przy maksymalnym prawdopodobieństwie każde z nich można porównać z AIC; jeśli ustalone efekty są takie same ( m1do m4), użycie REML lub ML jest w porządku, z REML zwykle preferowanym, ale jeśli są różne, można użyć tylko ML. Jednak interpretacja jest zwykle trudna, gdy zmieniają się zarówno efekty stałe, jak i efekty losowe, dlatego w praktyce większość zaleca zmianę tylko jednego lub drugiego na raz.

Korzystanie z testu ilorazu wiarygodności jest możliwe, ale trudne, ponieważ zwykłe przybliżenie chi-kwadrat nie zachowuje się podczas testowania, czy składnik wariancji wynosi zero. Szczegółowe informacje można znaleźć w odpowiedzi Aniko. (Uznanie dla Aniko za to, że zarówno przeczytałem pytanie uważniej niż ja, jak i przeczytałem moją oryginalną odpowiedź na tyle ostrożnie, aby zauważyć, że pominęło ten punkt. Dzięki!)

Pinhiero / Bates to klasyczne odniesienie; opisuje nlmepakiet, ale teoria jest taka sama. Cóż, w większości takie same; Doug Bates zmienił swoje zalecenia dotyczące wnioskowania od czasu napisania tej książki, a nowe rekomendacje znajdują odzwierciedlenie w lme4pakiecie. Ale to więcej, niż chcę się tutaj dostać. Bardziej czytelnym odniesieniem jest Weiss (2005), Modeling Longitudinal Data.

Aaron - Przywróć Monikę
źródło
modeli m2 i m4 lub m1 i m3 nie można porównać z testem współczynnika wiarygodności. Nie są to modele zagnieżdżone.
Makro
Ups, dzięki za złapanie tego, @Macro! Zobacz edycję.
Aaron - Przywróć Monikę
Pytanie dotyczyło tylko porównania modeli z modelem m, a nie ze sobą. Niemniej jednak, czy mówisz, że porównań AIC można dokonać, nawet jeśli nie są zagnieżdżone? Odpowiedzi na to pytanie wydają się temu zaprzeczać.
Jan
@John, przeczytałem te odpowiedzi, ale nie zauważyłem, gdzie omawia AIC i nie zagnieżdżone. Jestem prawie pewien, że wszystko jest w porządku, ale czy możesz podać mi bardziej precyzyjny wskaźnik do tego momentu w odpowiedziach?
Aaron - Przywróć Monikę
Poparłem odpowiedź, ponieważ się mylisz (lub przynajmniej mylisz) co do możliwości zastosowania testu współczynnika wiarygodności.
Aniko
12

mmm4σ2)=0

mm212)χ12)+12)χ02)χ12)

Jednak, jak stwierdził @Aaron, wielu ekspertów nie zaleca przeprowadzania takiego testu współczynnika wiarygodności. Potencjalnymi alternatywami są kryteria informacyjne (AIC, BIC itp.) Lub bootstrapowanie LRT.

[1] Self, SG i Liang, K. Właściwości asymptotyczne estymatorów maksymalnego prawdopodobieństwa i testy współczynnika wiarygodności w niestandardowych warunkach J. Amer. Statystyk. Assoc., 1987, 82, 605-610.

Aniko
źródło
1
Dzięki za informacje o LR. Przy tworzeniu modeli na przykład tak naprawdę nie myślałem o kwestii granicy LR. Właśnie zauważyłem, że w twojej odpowiedzi nie jest jasne, czy twoje zalecenia dotyczą prostych przypadków, takich jak porównanie modeli z różnymi stałymi efektami (oczywiście oszacowane ML).
Jan
Nie, ten problem pojawia się tylko podczas testowania składników wariancji, a nie ustalonych efektów.
Aaron - Przywróć Monikę