Cross Validation dla modeli mieszanych?

9

Mój kolega i ja dopasowujemy zakres liniowych i nieliniowych modeli efektu mieszanego w R. Jesteśmy proszeni o przeprowadzenie weryfikacji krzyżowej dopasowanych modeli, aby można było zweryfikować, czy zaobserwowane efekty są względnie ogólne. Zwykle jest to trywialne zadanie, ale w naszym przypadku musimy podzielić całe dane na część szkoleniową i część testową (do celów CV), które nie mają wspólnych poziomów. Na przykład,

Dane treningowe mogą być oparte na grupach 1,2,3,4; Dopasowany model jest następnie poddawany walidacji krzyżowej w grupie 5.

Stwarza to problem, ponieważ losowe efekty oparte na grupie oszacowane na danych treningowych nie mają zastosowania do danych testowych. Dlatego nie możemy CV modelu.

Czy istnieje stosunkowo proste rozwiązanie tego problemu? A może ktoś napisał już pakiet, aby rozwiązać ten problem? Wszelkie wskazówki są mile widziane!

Dzięki!

mixed-model cross-validation Ting Qian
źródło
2
W przypadku oszacowania małego obszaru ten sam problem występuje w przypadku małych obszarów „poza próbą”. Zwykle dokonuje się tego, aby oszacować losowe efekty poza próbą na zero (ich najbardziej prawdopodobna wartość - przy założeniu, że twoje losowe efekty są normalnie rozłożone). W efekcie używasz „syntetycznej” lub stałej części modelu tylko do przewidywania.
Prawdopodobieństwo
probabilityislogic / Ting Qian, walczę teraz z tym problemem i chciałbym zobaczyć, jak określiłeś efekty poza próbą jako 0. Czy można edytować swoją odpowiedź tutaj i pokazać kod R? dzięki!
Pradeep Babu

Odpowiedzi:

3

Fang (2011) wykazał asymptotyczną równoważność między AIC zastosowanym do modeli mieszanych a walidacją krzyżową typu „jeden klaster poza”. Być może zaspokoiłoby to twojego recenzenta, pozwalając ci po prostu obliczyć AIC jako łatwiejsze do obliczenia przybliżenie do tego, o co prosili?

Mike Lawrence
źródło
Dzięki! To wygląda na przydatne. Właściwie obliczyliśmy już BIC, ale recenzent chce zobaczyć wyniki krzyżowej weryfikacji. ;-) Niektóre zestawy danych, które mamy, są stosunkowo niewielkie. Można więc argumentować, że takie asymptotyczne zachowanie nie jest oczekiwane. Ale tak, z pewnością moglibyśmy zacytować Fanga (2011), kiedy prezentujemy wyniki BIC, ponieważ AIC i BIC są również asymptotycznie równoważne?
Ting Qian,
2
Nie wierzę, że AIC i BIC są asymptotycznie równoważne, ponieważ próbują odpowiedzieć na zasadniczo różne pytania. Zobacz: stats.stackexchange.com/questions/577/…
Mike Lawrence
A oto bardziej szczegółowe porównanie AIC i BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065
Mike Lawrence
0

Colby i Bair (2013) opracowali podejście do walidacji krzyżowej, które można zastosować do nieliniowych modeli efektów mieszanych. Możesz odwiedzić ten link, aby dowiedzieć się więcej.

Api Hounzandji
źródło
1
Witamy w Crossvalidated. Dodaj więcej informacji do swojej odpowiedzi. Może możesz nakreślić najważniejsze części artykułu.
Ferdi