Jakie są łatwe do zinterpretowania miary dopasowania do liniowych modeli efektów mieszanych?

37

Obecnie używam pakietu R. lme4 .

Używam liniowych modeli efektów mieszanych z efektami losowymi:

library(lme4)
mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects
mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + 
            # random effects
mod3 <- lmer(r1 ~ p1 + p2 + (1 | site), data = sample_set) #Two fixed effects + 
            # random effects

Aby porównać modele, używam anovafunkcji i patrzę na różnice w AIC w stosunku do najniższego modelu AIC:

anova(mod1, mod2, mod3)

Powyższe jest odpowiednie do porównywania modeli.

Potrzebuję jednak również prostego sposobu interpretacji miar dopasowania dla każdego modelu. Czy ktoś ma doświadczenie z takimi środkami? Zrobiłem trochę badań, i są czasopisma na temat kwadratu R dla stałych efektów modeli efektów mieszanych:

  • Cheng, J., Edwards, LJ, Maldonado-Molina, MM, Komro, KA i Muller, KE (2010). Rzeczywista analiza danych podłużnych dla prawdziwych ludzi: zbudowanie wystarczająco dobrego modelu mieszanego. Statystyka w medycynie, 29 (4), 504–520. doi: 10.1002 / sim.3775
  • Edwards, LJ, Muller, KE, Wolfinger, RD, Qaqish, BF i Schabenberger, O. (2008). Statystyka R2 dla stałych efektów w liniowym modelu mieszanym. Statystyka w medycynie, 27 (29), 6137-6157. doi: 10.1002 / sim.3429

Wydaje się jednak, że istnieje pewna krytyka dotycząca stosowania środków takich jak te zaproponowane w powyższych dokumentach.

Czy ktoś mógłby zasugerować kilka łatwych do interpretacji miar dobroci dopasowania, które mogą mieć zastosowanie do moich modeli?

mjburns
źródło
2
Naprawdę podoba mi się pytanie, ale stosowanie testów współczynnika wiarygodności w celu ustalenia, czy potrzebne są stałe efekty, nie jest zalecaną strategią, zobacz często zadawane pytania . Dlatego powyższe nie jest odpowiednie do porównywania modeli.
Henrik
Dzięki, Henrik. Często zadawane pytania są bardzo pomocne. Wygląda na to, że próbkowanie Monte Carlo przez Markova może być dobrą strategią do porównania moich modeli.
mjburns
1
Problem z MCMC polega na tym, że możesz mieć tylko proste losowe efekty (jak w twoim przykładzie). Postawiłbym na przybliżenie Kenwarda-Rogera do stopni swobody, ponieważ dotyczy to również bardziej skomplikowanych modeli. Zobacz funkcję mixed()w moim pakiecie afex ( wersja rozwojowa ma również parametryczny bootstrap ). Zobacz tutaj, aby uzyskać odniesienia .
Henrik
OK, Henrik. Udało mi się uruchomić twoją funkcję mixed () z pakietu afex. Czy mógłby Pan doradzić, w jaki sposób mogę wykorzystać Afex do porównania modeli? Jakich środków mogę użyć, aby zdecydować, czy jeden model jest bardziej prawdopodobny niż inny? Dzięki.
mjburns
Odpowiedź na to pytanie jest trudna, być może zadajesz osobne pytanie, podając więcej szczegółów. Ale krótko mówiąc, afex stara się pomóc ci ocenić, czy pewne efekty (lub lepsze modele, w tym ten efekt) są znaczące. W tym celu korzysta KRmodcompz pakietu pbkrtest. Możesz także użyć KRmodcompbezpośrednio do porównania modeli.
Henrik

Odpowiedzi:

3

Nie ma nic takiego jak łatwa do interpretacji miara dopasowania dla liniowych modeli mieszanych :)

Losowego Fit (mod1) może być mierzona ICCi ICC2(stosunek wariancja rozliczony poprzez losowych, a pozostały wariancji). pakiet psychometryczny R zawiera funkcję wyodrębnienia ich z obiektu lme.

Można użyć R2do oceny ustalonego efektu (mod2, mod3), ale może to być trudne: gdy dwa modele pokazują podobny R2, może być tak, że jeden jest bardziej „dokładny”, ale jest maskowany przez jego stały współczynnik ” odejmując „większy komponent wariancji od efektu losowego. Z drugiej strony łatwo jest zinterpretować większy R2 modelu najwyższego rzędu (np. Mod3). W rozdziale o modelach mieszanych Baayen jest miła dyskusja na ten temat. Ponadto samouczek jest bardzo jasny.

Możliwym rozwiązaniem jest rozważenie każdego z nich variance componentniezależnie, a następnie użycie ich do porównania modeli.

ajeje
źródło
1
Czy możesz nam powiedzieć, do jakiego odniesienia się odwołujesz, gdy mówisz rozdział Baayena?
KH Kim
tak, referencja jest zepsuta!
Ciekawy
Znalazłem ten cytat, nie jestem pewien, czy to jest to, ale nigdzie nie mogę uzyskać pliku PDF: BaayenR. H., Analiza danych językowych: Praktyczne wprowadzenie do statystyki za pomocą R. Cambridge: Cambridge University Press, 2008. Pp. 368. ISBN-13: 978-0-521-70918-7. - Tom 37 Numer 2 - Grzegorz Krajewski, Danielle Matthews
Ciekawy
1
Dawajcie ludzie. Gdzie jest twój google-foo? Wyszukaj w „baayenCUPstats.pdf: pierwsze uderzenie: sfs.uni-tuebingen.de/~hbaayen/publications/baayenCUPstats.pdf
DW12