Intuicja na temat estymacji parametrów w modelach mieszanych (parametry wariancji vs. tryby warunkowe)

Czytałem wiele razy, że efekty losowe (BLUP / tryby warunkowe dla, powiedzmy, badanych) nie są parametrami liniowego modelu efektów mieszanych, ale zamiast tego można je wyprowadzić z oszacowanych parametrów wariancji / kowariancji. Np. Reinhold Kliegl i in. (2011) stan:

Efekty losowe to odchylenia badanych od średniej średniej RT i odchylenia badanych od parametrów efektu stałego. Zakłada się, że są one niezależnie i normalnie rozmieszczone ze średnią 0. Ważne jest, aby uznać, że te losowe efekty nie są parametrami LMM - są tylko ich wariancje i kowariancje. [...] Parametry LMM w połączeniu z danymi osobników można wykorzystać do wygenerowania „prognoz” (trybów warunkowych) losowych efektów dla każdego osobnika.

Czy ktoś może podać intuicyjne wyjaśnienie, w jaki sposób można oszacować parametry (ko) wariancji efektów losowych bez faktycznego wykorzystania / oszacowania efektów losowych?

Rozważ prosty liniowy model mieszany, np. Model losowego przechwytywania, w którym szacujemy zależność od x u różnych podmiotów i zakładamy, że każdy podmiot ma swój własny losowy punkt przechwytywania: y = a + b x + c i + ϵ . Tutaj przechwytuje c $y$$x$

$$y = a + bx + c_i + \epsilon.$$ $c_i$ są modelowane jako pochodzące z rozkładu Gaussa a szum losowy jest również gaussowski ϵ ∼ N ( 0 , σ $$c_i\sim \mathcal N(0, \tau^2)$$ Wskładni ten model zostałby zapisany jako. $$\epsilon \sim \mathcal N(0, \sigma^2).$$ lme4y ~ x + (1|subject)

Warto przepisać powyższe w następujący sposób:

$$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$$

Jest to bardziej formalny sposób określenia tego samego modelu probabilistycznego. Z tego sformułowania wynika bezpośrednio, że efekty losowe nie są „parametrami”: są to nieobserwowane zmienne losowe. Jak więc oszacować parametry wariancji, nie znając wartości c ?$c_i$$c$

Zauważ, że pierwsze równanie powyżej opisuje warunkowy rozkład $y$$c$$c$$y\mid c$$y$$c$

$\mathcal N(a + bx, \sigma^2+\tau^2)$$n$$\mathbf y$

$$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$$ $\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$$\sigma^2$$\tau^2$$c$$c_i$

$a$$b$$\tau^2$$\sigma^2$$c_i$$i$

Możesz łatwo oszacować parametry wariancji i kowariancji bez polegania na efektach losowych za pomocą efektów stałych (zobacz tutaj dyskusję efektów stałych vs. efektów losowych; pamiętaj, że istnieją różne definicje tych terminów).

Naprawione efekty można łatwo uzyskać, dodając (binarną) zmienną wskaźnikową dla każdej grupy (lub każdego okresu lub cokolwiek, co zamierzasz wykorzystać jako efekty losowe; jest to równoważne z transformacją wewnątrz). Pozwala to łatwo oszacować efekty stałe (które można postrzegać jako parametr).

Założenie o ustalonych efektach nie wymaga przyjęcia założenia o rozkładzie ustalonych efektów, możesz łatwo oszacować wariancję efektów stałych (chociaż jest to wyjątkowo hałas, jeśli liczba obserwacji w każdej grupie jest niewielka; minimalizują one uprzedzenie kosztem znacznie większej wariancji w porównaniu do efektów losowych, ponieważ tracisz jeden stopień swobody dla każdej grupy poprzez dodanie tych zmiennych wskaźnikowych). Można także oszacować kowariancje między różnymi zestawami efektów stałych lub między efektami stałymi a innymi zmiennymi towarzyszącymi. Zrobiliśmy to na przykład w artykule zatytułowanym Balance Competitive and Assortative Matching w niemieckiej Bundeslidze, aby oszacować, czy lepsi piłkarze coraz częściej grają dla lepszych drużyn.

Efekty losowe wymagają wcześniejszego założenia o kowariancji. W klasycznych modelach efektów losowych zakłada się, że efekty losowe są jak błąd i są niezależne od innych zmiennych towarzyszących (dzięki czemu można je zignorować i użyć OLS i uzyskać spójne, choć nieefektywne oszacowania dla drugiego parametru, jeśli założenia modelu efektów losowych są prawdziwe).

Więcej informacji technicznych jest dostępnych tutaj . Andrew Gelman ma również dużo bardziej intuicyjną pracę na ten temat w swojej miłej książce Analiza danych przy użyciu regresji i modeli wielopoziomowych / hierarchicznych