Mówiąc prościej, jak wyjaśniłbyś (być może za pomocą prostych przykładów) różnicę między modelami efektu stałego, efektu losowego i efektu mieszanego?

Statystyk Andrew Gelman mówi, że terminy „efekt stały” i „efekt losowy” mają różne znaczenia w zależności od tego, kto ich używa. Być może możesz wybrać, która z 5 definicji dotyczy twojego przypadku. Zasadniczo lepiej może być poszukiwanie równań opisujących model prawdopodobieństwa, z którego korzystają autorzy (podczas czytania), lub zapisanie pełnego modelu prawdopodobieństwa, którego chcesz użyć (podczas pisania).

Tutaj przedstawiamy pięć definicji, które widzieliśmy:

1. Stałe efekty są stałe u poszczególnych osób, a efekty losowe są różne. Na przykład w badaniu wzrostu model z losowymi przecięcia i stałym nachyleniem odpowiada równoległym liniom dla różnych osobników lub model . Kreft i De Leeuw (1998) rozróżniają zatem współczynniki stałe i losowe. b i y i t = a i + b $a_i$$b$$i$$y_{it} = a_i + b t$

2. Efekty są ustalane, jeśli są interesujące same w sobie lub losowe, jeśli istnieje zainteresowanie populacją podstawową. Searle, Casella i McCulloch (1992, sekcja 1.4) badają to rozróżnienie dogłębnie.

3. „Gdy próbka wyczerpuje populację, odpowiednia zmienna zostaje ustalona; gdy próbka stanowi niewielką (tj. nieistotną) część populacji, odpowiednia zmienna jest losowa. ”(Green and Tukey, 1960)

4. „Jeżeli zakłada się, że efekt jest wartością zrealizowaną zmiennej losowej, nazywa się to efektem losowym.” (LaMotte, 1983)

5. Efekty stałe są szacowane przy użyciu najmniejszych kwadratów (lub, bardziej ogólnie, maksymalnego prawdopodobieństwa), a efekty losowe są szacowane za pomocą skurczu („liniowa bezstronna prognoza” w terminologii Robinsona, 1991). Ta definicja jest standardem w literaturze modelowania wielopoziomowego (patrz na przykład Snijders i Bosker, 1999, sekcja 4.2) oraz w ekonometrii.

[ Gelman, 2004, Analiza wariancji - dlaczego jest ważniejsza niż kiedykolwiek. The Annals of Statistics. ]

Są na to dobre książki, takie jak Gelman i Hill . Poniżej znajduje się podsumowanie ich perspektywy.

Po pierwsze, nie powinieneś zbytnio zajmować się terminologią. W statystykach żargonu nie należy nigdy zastępować matematycznego zrozumienia samych modeli. Dotyczy to szczególnie modeli efektów losowych i mieszanych. „Mieszane” oznacza po prostu, że model ma zarówno stałe, jak i losowe efekty, więc skupmy się na różnicy między stałym i losowym.

Efekty losowe kontra ustalone

Załóżmy, że masz model z predyktorem jakościowym, który dzieli twoje obserwacje na grupy zgodnie z wartościami kategorii. * Współczynniki modelu lub „efekty” związane z tym predyktorem mogą być stałe lub losowe. Najważniejsza praktyczna różnica między nimi jest następująca:

Efekty losowe są szacowane z częściowym łączeniem, podczas gdy efekty stałe nie są.

Częściowe łączenie oznacza, że ​​jeśli masz kilka punktów danych w grupie, oszacowanie efektu grupy będzie częściowo oparte na bardziej obfitych danych z innych grup. Może to być dobry kompromis między oszacowaniem efektu przez całkowite połączenie wszystkich grup, co maskuje zmienność na poziomie grupy, a oszacowaniem efektu dla wszystkich grup całkowicie osobno, co może dać złe oszacowania dla grup o niskiej próbie.

Efekty losowe są po prostu rozszerzeniem techniki częściowej puli jako ogólnego modelu statystycznego. Umożliwia to zasadnicze zastosowanie pomysłu w wielu różnych sytuacjach, w tym w wielu predyktorach, mieszanych zmiennych ciągłych i kategorycznych oraz złożonych strukturach korelacji. (Ale z wielką mocą wiąże się wielka odpowiedzialność: złożoność modelowania i wnioskowania jest znacznie zwiększona i może powodować subtelne uprzedzenia, których należy unikać, aby uniknąć wyrafinowania).

Aby zmotywować model efektów losowych, zadaj sobie pytanie: dlaczego miałbyś częściową pulę? Prawdopodobnie dlatego, że uważasz, że małe podgrupy są częścią większej grupy o wspólnym średnim skutku. Średnie podgrupy mogą nieco różnić się od średniej z dużej grupy, ale nie o dowolną kwotę. Aby sformalizować tę ideę, zakładamy, że odchylenia są zgodne z rozkładem, zazwyczaj Gaussa. Właśnie tutaj pojawia się „losowy” efekt losowy: zakładamy, że odchylenia podgrup od rodzica zależą od rozkładu zmiennej losowej. Gdy przyjrzysz się już temu pomysłowi, równania modelu mieszanych efektów są zgodne z naturą.

Niestety użytkownicy modeli z efektami mieszanymi często mają błędne założenia co do tego, czym są efekty losowe i czym różnią się od efektów stałych. Ludzie słyszą „losowy” i myślą, że oznacza to coś wyjątkowego w modelowanym systemie, jak na przykład stałe efekty muszą być użyte, gdy coś jest „naprawione”, podczas gdy losowe efekty muszą być użyte, gdy coś jest „losowo próbkowane”. Ale nie ma nic szczególnie losowego w założeniu, że współczynniki modelu pochodzą z rozkładu; jest to tylko ograniczenie miękkie, podobne do kary stosowanej do współczynników modelu w regresji grzbietu. Istnieje wiele sytuacji, w których możesz chcieć lub nie używać efektów losowych i niekoniecznie mają one wiele wspólnego z rozróżnieniem między „ustalonymi” a „$\ell_2$

Niestety zamieszanie pojęciowe spowodowane tymi terminami doprowadziło do mnóstwa sprzecznych definicji . Z pięciu definicji pod tym linkiem tylko nr 4 jest całkowicie poprawna w ogólnym przypadku, ale jest również całkowicie nieinformacyjna. Musisz przeczytać całe artykuły i książki (lub w przeciwnym razie ten post), aby zrozumieć, co ta definicja oznacza w praktyce.

Przykład

Spójrzmy na przypadek, w którym przydatne może być modelowanie efektów losowych. Załóżmy, że chcesz oszacować średni dochód gospodarstwa domowego w USA według kodu pocztowego. Masz duży zestaw danych zawierający obserwacje dochodów gospodarstw domowych i kody pocztowe. Niektóre kody pocztowe są dobrze reprezentowane w zbiorze danych, ale inne mają tylko kilka gospodarstw domowych.

W przypadku pierwszego modelu najprawdopodobniej weźmiesz średni dochód w każdym ZIP. Będzie to działać dobrze, gdy masz dużo danych dla ZIP, ale szacunki dla źle próbkowanych ZIP-ów będą cierpieć z powodu dużej wariancji. Możesz to złagodzić za pomocą estymatora skurczu (zwanego także częściowym łączeniem pul), który popycha skrajne wartości w kierunku średniego dochodu we wszystkich kodach pocztowych.

Ale ile skurczu / łączenia należy zrobić dla konkretnego pliku ZIP? Intuicyjnie powinno to zależeć od:

1. Ile masz obserwacji w tym pliku ZIP
2. Ile masz obserwacji ogółem
3. Indywidualnego poziomu średniej i wariancji dochodów gospodarstw domowych we wszystkich kodów pocztowych
4. Poziomie grupy wariancji średniego dochodu gospodarstw domowych we wszystkich kodów pocztowych

Jeśli modelujesz kod pocztowy jako efekt losowy, oszacowanie średniego dochodu we wszystkich kodach pocztowych zostanie poddane statystycznie uzasadnionemu skurczowi, biorąc pod uwagę wszystkie powyższe czynniki.

Najlepsze jest to, że modele efektów losowych i mieszanych automatycznie obsługują (4), oszacowanie zmienności, dla wszystkich efektów losowych w modelu. Jest to trudniejsze, niż się wydaje na pierwszy rzut oka: możesz wypróbować wariancję średniej próbki dla każdego ZIP, ale będzie to tendencyjnie wysokie, ponieważ część wariancji między szacunkami dla różnych ZIP jest tylko wariancją próbkowania. W modelu efektów losowych proces wnioskowania uwzględnia próbkowanie wariancji i odpowiednio zmniejsza oszacowanie wariancji.

Uwzględniając (1) - (4), model efektów losowych / mieszanych jest w stanie określić odpowiedni skurcz dla grup o niskiej próbce. Może także obsługiwać znacznie bardziej skomplikowane modele z wieloma różnymi predyktorami.

Związek z hierarchicznym modelowaniem bayesowskim

Jeśli brzmi to dla ciebie jak hierarchiczne modelowanie bayesowskie, masz rację - jest to bliski krewny, ale nie identyczny. Modele efektów mieszanych są hierarchiczne, ponieważ ustalają rozkłady ukrytych, nieobserwowanych parametrów, ale zazwyczaj nie są one w pełni bayesowskie, ponieważ hiperparametry najwyższego poziomu nie będą miały odpowiednich priorytetów. Na przykład w powyższym przykładzie najprawdopodobniej potraktowalibyśmy średni dochód w danym ZIP jako próbkę z rozkładu normalnego, z nieznaną średnią i sigmą do oszacowania w procesie dopasowania efektów mieszanych. Jednak (nie Bayesowski) model efektów mieszanych zwykle nie będzie miał wcześniejszego wyniku na nieznanej średniej i sigmie, więc nie jest w pełni Bayesowski. To powiedziawszy, z przyzwoitym zestawem danych, standardowy model efektów mieszanych i wariant w pełni bayesowski często dają bardzo podobne wyniki.

* Podczas gdy wiele sposobów traktowania tego tematu koncentruje się na wąskiej definicji „grupy”, koncepcja jest w rzeczywistości bardzo elastyczna: jest to tylko zbiór obserwacji, które mają wspólną właściwość. Grupa może składać się z wielu obserwacji jednej osoby lub wielu osób w szkole, lub wielu szkół w okręgu, lub wielu odmian jednego rodzaju owoców lub wielu rodzajów warzyw z tego samego zbioru lub wielu zbiorów tego samego rodzaju warzywa itp. Każda zmienna kategoryczna może być używana jako zmienna grupująca.

Pisałem o tym w książkowym rozdziale na temat modeli mieszanych (rozdział 13 w Fox, Negrete-Yankelevich i Sosa 2014 ); odpowiednie strony (s. 311–315) są dostępne w Książkach Google . Myślę, że pytanie sprowadza się do „jakie są definicje efektów stałych i losowych?” („model mieszany” to tylko model zawierający oba te elementy). Moja dyskusja mówi nieco mniej o ich formalnej definicji (dla której odłożyłbym się do artykułu Gelmana połączonego powyższą odpowiedzią @ JohnSalvatier), a więcej o ich praktycznych właściwościach i użyteczności. Oto kilka fragmentów:

Tradycyjne spojrzenie na efekty losowe jest sposobem na wykonanie poprawnych testów statystycznych, gdy niektóre obserwacje są skorelowane.

Możemy również myśleć o efektach losowych jako sposobie łączenia informacji z różnych poziomów w obrębie zmiennej grupującej.

Efekty losowe są szczególnie przydatne, gdy mamy (1) wiele poziomów (np. Wiele gatunków lub bloków), (2) stosunkowo mało danych na każdym poziomie (chociaż potrzebujemy wielu próbek z większości poziomów) i (3) nierówne pobieranie próbek między poziomami (pole 13.1).

Częstokroć i bayesianie definiują losowe efekty nieco inaczej, co wpływa na sposób ich użycia. Częstokroć definiują efekty losowe jako zmienne kategorialne, których poziomy są wybierane losowo z większej populacji, np. gatunki wybrane losowo z listy gatunków endemicznych. Bayesianie definiują efekty losowe jako zestawy zmiennych, których parametry są [wszystkie] rysowane z [tego samego] rozkładu. Definicja częstokroć jest spójna filozoficznie i spotkasz badaczy (w tym recenzentów i przełożonych), którzy nalegają na to, ale może to być praktycznie problematyczne. Oznacza to na przykład, że nie można użyć gatunku jako efektu losowego, gdy zaobserwowano wszystkie gatunki na swoim terenie - ponieważ lista gatunków nie jest próbką z większej populacji - lub użyć roku jako efektu losowego, ponieważ naukowcy rzadko przeprowadzają eksperyment w losowo wybranych latach - zwykle wykorzystują albo serię kolejnych lat, albo przypadkowy zestaw lat, kiedy mogli dostać się w teren.

Efekty losowe można również opisać jako zmienne predykcyjne, w których interesuje Cię wnioskowanie na temat rozkładu wartości (tj. Wariancji między wartościami odpowiedzi na różnych poziomach), a nie testowanie różnic wartości między poszczególnymi poziomami.

Ludzie czasem mówią, że efekty losowe są „czynnikami, którymi nie jesteś zainteresowany”. Nie zawsze jest to prawdą. Chociaż często ma to miejsce w eksperymentach ekologicznych (gdzie zmienność między miejscami jest zwykle tylko uciążliwością), czasami jest to bardzo interesujące, na przykład w badaniach ewolucyjnych, w których zmienność między genotypami jest surowcem do doboru naturalnego lub w badaniach demograficznych gdzie zmienność roczna obniża długoterminowe stopy wzrostu. W niektórych przypadkach ustalone efekty są również używane do kontrolowania nieciekawej zmienności, np. Przy użyciu masy jako współzmiennej do kontroli efektów wielkości ciała.

Usłyszysz także, że „nie można nic powiedzieć o (przewidywanej) wartości trybu warunkowego”. To też nie jest prawda - nie można formalnie przetestować hipotezy zerowej, że wartość jest równa zero lub że wartość wartości dwóch różnych poziomów są równe, ale nadal rozsądnie jest spojrzeć na przewidywaną wartość, a nawet obliczyć standardowy błąd przewidywanej wartości (np. zobacz słupki błędów wokół trybów warunkowych na rysunku 13.1).

$\textrm{species_mean} \sim {\cal N}(\textrm{genus_mean}, \sigma^2_{\textrm{species}})$

Powiedziałem powyżej, że efekty losowe są najbardziej przydatne, gdy zmienna grupująca ma wiele zmierzonych poziomów. I odwrotnie, efekty losowe są na ogół nieskuteczne, gdy zmienna grupująca ma zbyt mało poziomów. Zwykle nie można używać efektów losowych, gdy zmienna grupująca ma mniej niż pięć poziomów, a oszacowania wariancji efektów losowych są niestabilne z mniej niż ośmioma poziomami, ponieważ próbujesz oszacować wariancję z bardzo małej próbki.

Naprawiono efekt: Coś, co eksperymentator bezpośrednio manipuluje i jest często powtarzalne, np. Podawanie leku - jedna grupa otrzymuje lek, druga grupa otrzymuje placebo.

Efekt losowy: źródło losowej zmienności / jednostek eksperymentalnych, np. Osobników losowo wybranych z populacji do badania klinicznego. Losowe efekty szacują zmienność

Efekt mieszany: Obejmuje oba, ustalony efekt w tych przypadkach szacuje współczynniki poziomu populacji, podczas gdy efekty losowe mogą uwzględniać indywidualne różnice w reakcji na efekt, np. Każda osoba otrzymuje zarówno lek, jak i placebo przy różnych okazjach, ustalony efekt szacuje działanie leku, warunki losowych efektów pozwolą każdej osobie reagować na lek inaczej.

Ogólne kategorie efektów mieszanych - powtarzane miary, wzdłużne, hierarchiczne, podzielone.

Doszedłem stąd do tego pytania , możliwego duplikatu.

Istnieje już kilka doskonałych odpowiedzi, ale jak stwierdzono w zaakceptowanej odpowiedzi, istnieje wiele różnych (ale powiązanych) zastosowań tego terminu, więc warto podać perspektywę stosowaną w ekonometrii, która nie wydaje się jeszcze w pełni uwzględniona w tym przypadku .

Rozważ liniowy model danych panelowych: tak zwany model komponentu błędu. Tutaj α

$$y_{it}=X_{it}\delta+\alpha_i+\eta_{it},$$ $\alpha_i$$\eta_{it}$

$\alpha_i$

$\alpha_i$$X_{it}$$Cov(\alpha_i,X_{it})=0$

$y$$X$$y_{it}$$X_{it}$

$\alpha_i$$X_{it}$$i$$X_{it}=0$$X_{it}$

$\delta$$t$$\alpha_i$$X_{it}$

Ta tendencja jednak zanika jako $T$m

Oto kod, który generuje dane i który generuje dodatnią ocenę RE i „poprawną”, negatywną ocenę FE. (To powiedziawszy, szacunki RE będą również często ujemne dla innych nasion, patrz wyżej).

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Wyjście:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

Rozróżnienie to ma znaczenie jedynie w kontekście statystyki nie bayesowskiej. W statystyce bayesowskiej wszystkie parametry modelu są „losowe”.

W ekonometrii terminy są zwykle stosowane w uogólnionych modelach liniowych, w których model ma formę

$$y_{it} = g(x_{it} \beta + \alpha_i + u_{it}).$$

$\alpha_i \perp u_{it}$

$\alpha_i \not \perp u_{it}$

W modelach liniowych obecność efektu losowego nie powoduje niespójności estymatora OLS. Jednak użycie losowego estymatora efektów (np. Wykonalnego uogólnionego najmniejszego kwadratu) da więcej wydajny estymator.

W modelach nieliniowych , takich jak probit, tobit, ... obecność efektu losowego na ogół spowoduje niespójny estymator. Użycie losowego estymatora efektów przywróci spójność.

Zarówno w przypadku modeli liniowych, jak i nieliniowych ustalone efekty powodują błąd. Jednak w modelach liniowych można zastosować transformacje (takie jak pierwsze różnice lub poniżanie), w których OLS na przekształconych danych da spójne oszacowania. W przypadku modeli nieliniowych istnieje kilka wyjątków, w których istnieją transformacje, a logit efektów stałych jest jednym z przykładów.

Przykład: probit efektów losowych. Przypuszczać

$$y^*_{it} = x_{it} \beta + \alpha_i + u_{it}, \quad \alpha_i \sim \mathcal{N}(0,\sigma_\alpha^2), u_{it} \sim \mathcal{N}(0,1).$$

a zaobserwowany wynik to

$$y_{it} = \mathbb{1}(y^*_{it} > 0).$$

Zbiorcza maksymalny estymator prawdopodobieństwa minimalizuje średnia próbka

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \prod_{t=1}^T [G(x_{it}\beta)]^{y_{it}} [1 - G(x_{it}\beta)] ^{1-y_{it}}.$$

Oczywiście tutaj log i produkt upraszczają, ale z powodów pedagogicznych sprawia to, że równanie jest bardziej porównywalne z estymatorem efektów losowych, który ma postać

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \int \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}} \phi(a) \mathrm{d}a.$$

$R$

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log R^{-1} \sum_{r=1}^R \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a_r)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}},\quad a_r \sim \mathcal{N}(0,1).$$

$\alpha_i$$i$$T$

Nie jest to formalna definicja, ale podobają mi się następujące slajdy: Modele mieszane i dlaczego socjolingwiści powinni ich używać ( lustro ), autorstwa Daniela Ezry Johnsona. Krótkie podsumowanie ”znajduje się na slajdzie 4. Chociaż koncentruje się głównie na badaniach psycholingwistycznych, jest bardzo przydatne jako pierwszy krok.

Inna bardzo praktyczna perspektywa modeli efektów losowych i stałych pochodzi z ekonometrii podczas regresji liniowej danych panelu . Jeśli szacujesz związek między zmienną objaśniającą a zmienną wynikową w zbiorze danych z wieloma próbkami na osobę / grupę, jest to struktura, której chcesz użyć.

Dobrym przykładem danych panelowych są roczne pomiary z zestawu osób:

• $gender_i$$i$
• ${\Delta}weight_{it}$$t$$i$
• $exercise_{it}$$t$$i$

Jeśli próbujemy zrozumieć związek między ćwiczeniami a zmianą masy ciała, skonfigurujemy następującą regresję:

${\Delta}weight_{it} = \beta_0$$exercise_{it} + \beta_1gender_i + \alpha_i + \epsilon_{it}$

• $\beta_0$ jest ilością odsetek
• $\beta_1$ nie jest interesujące, po prostu kontrolujemy płeć
• $\alpha_i$ jest przechwytywaniem dla poszczególnych osób
• $\epsilon_{it}$ jest terminem błędu

W takiej konfiguracji istnieje ryzyko endogeniczności. Może się to zdarzyć, gdy niezmierzone zmienne (takie jak stan cywilny) są związane zarówno z ćwiczeniami, jak i zmianą masy ciała. Jak wyjaśniono na str. 16 w tym wykładzie z Princeton , model efektów losowych (efekty mieszane AKA) jest bardziej wydajny niż model efektów stałych. Jednak niepoprawnie przypisze część wpływu niezmierzonej zmiennej na zmianę masy ciała podczas ćwiczeń, powodując niepoprawność$\beta_0$i potencjalnie wyższe znaczenie statystyczne niż jest ważne. W tym przypadku model efektów losowych nie jest spójnym estymatorem$\beta_0$.

Model ze stałymi efektami (w najbardziej podstawowej formie) kontroluje wszelkie nie mierzone zmienne, które są stałe w czasie, ale różnią się między poszczególnymi osobami, wyraźnie włączając osobny termin przechwytywania dla każdej osoby ($\alpha_i$) w równaniu regresji. W naszym przykładzie automatycznie kontroluje zakłócające skutki związane z płcią, a także wszelkie niezmierzone czynniki zakłócające (stan cywilny, status społeczno-ekonomiczny, poziom wykształcenia itp.). W rzeczywistości płeć nie może być uwzględniona w regresji i$\beta_1$ ponieważ nie można oszacować za pomocą modelu efektów stałych $gender_i$ jest współliniowy z $\alpha_i$„s.

Kluczowym pytaniem jest więc określenie, który model jest odpowiedni. Odpowiedzią jest test Hausmana . Aby go użyć, wykonujemy regresję efektów stałych i losowych, a następnie stosujemy test Hausmana, aby sprawdzić, czy szacunki ich współczynników znacznie się różnią. Jeśli się rozchodzą, gra się endogeniczność, a najlepszym wyborem jest model z ustalonymi efektami. W przeciwnym razie pójdziemy z losowymi efektami.