W praktyce, jak oblicza się macierz kowariancji efektów losowych w modelu efektów mieszanych?

19

Zasadniczo zastanawiam się, w jaki sposób wymuszane są różne struktury kowariancji i jak obliczane są wartości w tych macierzach. Funkcje takie jak lme () pozwalają nam wybrać, którą strukturę chcielibyśmy, ale chciałbym wiedzieć, jak są szacowane.

Rozważ liniowy model efektów mieszanych .Y=Xβ+Zu+ϵ

Gdzie i . Ponadto:udN(0,D)ϵdN(0,R)

Var(Y|X,Z,β,u)=R

Var(Y|X,β)=ZDZ+R=V

Dla uproszczenia założymy .R=σ2In

Zasadniczo moje pytanie brzmi: jak dokładnie szacuje się na podstawie danych dla różnych parametryzacji? Powiedzmy, że jeśli założymy, że jest diagonalny (efekty losowe są niezależne) lub pełni sparametryzowany (w tej chwili bardziej mnie to interesuje) lub dowolne inne parametry? Czy istnieją dla nich proste estymatory / równania? (Bez wątpienia byłoby to iteracyjnie szacowane).DDD

EDYCJA: Z książki Variance Components (Searle, Casella, McCulloch 2006) udało mi się uzyskać następujące informacje:

Jeśli to składniki wariancji są aktualizowane i obliczane w następujący sposób:D=σu2Iq

σu2(k+1)=u^Tu^σu2(k)trace(V1ZTZ)

σe2(k+1)=Y(YXβ^(k)Zu^(k))/n

Gdziei U (k)sąth aktualizacjach odpowiednio.β^(k)u^(k)k

Czy istnieją ogólne wzory, gdy jest blokowo ukośne lub w pełni sparametryzowane? Zgaduję, że w przypadku w pełni sparametryzowanym stosuje się rozkład Cholesky'ego, aby zapewnić pozytywną definitywność i symetrię.D

dcl
źródło
2
arxiv.org/pdf/1406.5823 (w prasie w Journal of Statistics Software ) może być przydatny ...
Ben Bolker

Odpowiedzi:

8

Plik Goldstein .pdf @probabilityislogic to świetny dokument. Oto lista niektórych odniesień omawiających Twoje pytanie:

Harville, 1976: Rozszerzenie twierdzenia Gaussa-Markowa o oszacowanie efektów losowych .

Harville, 1977: Podejście maksymalnego prawdopodobieństwa do oszacowania komponentu wariancji i powiązanych problemów .

Laird and Ware, 1982: Modele efektów losowych dla danych podłużnych .

McCulloch, 1997: Algorytmy maksymalnego prawdopodobieństwa dla uogólnionych liniowych modeli mieszanych .

Fragment Podręcznika użytkownika SAS dotyczący procedury MIESZANE zawiera kilka świetnych informacji na temat szacowania kowariancji i wielu innych źródeł (od strony 3968).

Istnieje wiele wysokiej jakości podręczników na temat analizy danych z pomiarów podłużnych / powtarzanych, ale oto jeden, który szczegółowo opisuje implementację w języku R (od autorów lme4i nlme):

Pinheiro i Bates, 2000: Modele z efektami mieszanymi w S i S-PLUS .

EDYCJA : Jeszcze jeden istotny artykuł: Lindstrom i Bates, 1988: Newton-Raphson i EM Algorytmy dla liniowych modeli efektów mieszanych dla danych z powtarzanymi pomiarami .

EDYCJA 2 : I kolejne: Jennrich i Schluchter, 1986: Niezrównoważone modele z powtarzanymi pomiarami ze strukturalnymi macierzami kowariancji .


źródło
Przyjrzałem się Pinheiro i Batesowi, a konkretnie rozdziałowi 2 (na temat teorii i obliczeń), ale nie wydawało mi się, żebym lśnił jak egzekwowanie i szacowanie struktury kowariancji? Niedługo to omówię. Kilka z tych dokumentów właśnie tu siedzę, na pewno będę musiał je ponownie przeczytać. Twoje zdrowie.
dcl 30.11.11
1
@dcl Patrząc wstecz na rozdział 2 P&B, widzę, że mogą one przeglądać niektóre z kroków, którymi jesteś zainteresowany (wspominają o optymalizacji prawdopodobieństwa dziennika względem parametrów kowariancji, ale nie mówią jak ). Biorąc to pod uwagę, sekcja 2.2.8 może być częścią, która najlepiej odpowiada na twoje pytanie.
1
@dcl Dodano jeszcze jedno źródło, które może pomóc.
dzięki za linki. Przeglądałem te dokumenty w przeszłości, niektóre z nich są dla mnie dość techniczne. Będę teraz przeglądał je teraz, ale na pierwszy rzut oka nie wydaje mi się, żebym mógł uzyskać od nich to, czego chcę.
dcl 30.11.11
1
@dcl Przepraszam za ścianę linków, ale twoje pytanie dotyczy tego, że dana osoba może spędzić kilka pełnych wykładów na dyskusje (jest to bardzo dobre pytanie, które jest jakby zmiecione pod dywan, gdy po raz pierwszy dowiadujesz się o modelach z efektami mieszanymi). Oprócz pływania w literaturze, jedną rzeczą, którą możesz zrobić, to spojrzeć na kod źródłowy lme4i zobaczyć, jak radzi sobie z tym oszacowaniem.
7

Harvey Goldstein nie jest złym miejscem do rozpoczęcia.

Podobnie jak w przypadku najbardziej złożonych metod szacowania, różni się w zależności od pakietu oprogramowania. Często jednak wykonuje się następujące czynności:

  1. Wybierz wartość początkową dla (powiedz D 0 ) i R (powiedz R 0 ). Ustaw i = 1rere0RR0ja=1
  2. re=reja-1R=Rja-1βuϵβjaujaϵja
  3. β=βjau=ujaϵ=ϵjareRrejaRja
  4. ja=ja+1

Jedną z prostych i szybkich metod jest IGLS, która polega na iteracji między dwiema procedurami najmniejszych kwadratów i jest szczegółowo opisana w rozdziale drugim. Minusem jest to, że nie działa dobrze dla składników wariancji bliskich zeru.

prawdopodobieństwo prawdopodobieństwa
źródło
Wiem, że jest to metoda ogólna, ale jak szacuje się D i R, jakie równania stosuje się dla różnych struktur? Jakie są dobre wartości początkowe? Sprawdzę pdf teraz, na zdrowie.
dcl 30.11.11