Jaka jest różnica między efektami losowymi, stałymi i marginalnymi?

Staram się poszerzyć swoją wiedzę na temat statystyki. Pochodzę z nauk fizycznych z podejściem opartym na „recepturze” do testowania statystycznego, gdzie, jak mówimy, jest ciągły, czy jest normalnie rozproszony - regresja OLS .

W swoim czytaniu natrafiłem na pojęcia: model efektów losowych, model efektów stałych, model marginalny. Moje pytania to:

Mówiąc bardzo prosto, czym one są?
Jakie są między nimi różnice?
Czy któryś z nich jest synonimem?
Skąd się biorą tradycyjne testy, takie jak regresja OLS, ANOVA i ANCOVA?

Po prostu próbuję zdecydować, gdzie iść dalej dzięki samokształceniu.

random-effects-model fixed-effects-model marginal N26
źródło

Możliwe zainteresowanie: Jaka jest różnica między modelami z efektem stałym, efektem losowym i modelem efektu mieszanego?

chl

@gung: Odpowiedź, na którą zamierzasz przyznać nagrodę, znacznie przewyższa wszystkie odpowiedzi w „głównym” wątku na temat różnic między efektami stałymi / losowymi (link w powyższym komentarzu). To pytanie ma ponad 40 głosów pozytywnych i zaakceptowana odpowiedź z 25 głosami pozytywnymi, co niestety nie jest zbyt pomocne. Czy powinniśmy połączyć te wątki? Wydaje mi się, że oznaczałoby to, że OP N26 straci głosowanie na pytania, ale ich konto i tak nie wydaje się już aktywne. Nie jestem pewien, jaki jest najlepszy sposób działania.

ameba mówi Przywróć Monikę

Dzięki @amoeba, myślę, że to również zasługuje na większą uwagę. Wydaje mi się, że pytanie to, choć zatytułowane podobnie, w rzeczywistości jest nieco inne (i być może źle sformułowane). Nie mam uprawnień do ich łączenia. Właśnie dodałem tam komentarz do tego wątku. Dlaczego nie podnieść pytania, co robić z tymi wątkami na meta.CV, a my zobaczymy, co ludzie myślą?

gung - Przywróć Monikę

Odpowiedzi:

To pytanie zostało częściowo omówione na tej stronie, jak poniżej, a opinie wydają się mieszane.

Wszystkie terminy są ogólnie związane z danymi podłużnymi / panelowymi / klastrowanymi / hierarchicznymi i powtarzanymi pomiarami (w formacie regresji zaawansowanej i ANOVA), ale mają wiele znaczeń w innym kontekście. Chciałbym odpowiedzieć na pytanie w formułach opartych na mojej wiedzy.

Model z efektami stałymi

W biostatystyce efekty stałe, oznaczone jako w równaniu (*) poniżej, zwykle łączą się z efektami losowymi. Ale model efektów stałych został również zdefiniowany, aby założyć, że obserwacje są niezależne, podobnie jak ustawienie przekroju, jak w Longitudinal Data Analysis Hedeker and Gibbons (2006). $\color{red}{\boldsymbol\beta}$
W ekonometrii model efektów stałych można zapisać jako gdzie jest stałym (nieprzypadkowym) przechwytywania dla każdego obiektu ( ), lub możemy mieć stały efekt jako dla każdego powtarzanego pomiaru ( ); oznacza zmienne towarzyszące. $y_{i j} = x_{i j}^{^{'}} β + u_{i} + ϵ_{i j}$ $y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$ $\color{red}{u_i}$ $i$ $u_j$ $j$ $\boldsymbol x_{ij}$
W metaanalizie model z efektem stałym zakłada, że efekt podstawowy jest taki sam we wszystkich badaniach (np. Mantel i Haenszel, 1959).

Model efektów losowych

W biostatystyce model efektów losowych (Laird i Ware, 1982) można zapisać jako gdzie zakłada dystrybucję. oznacza zmienne towarzyszące dla ustalonych efektów, a oznacza zmienne towarzyszące dla efektów losowych. $\begin{matrix} (*) & y_{i j} = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} + e_{i j} \end{matrix}$ $\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$ $\color{blue}{\boldsymbol u_i}$ $\boldsymbol x_{ij}$ $\boldsymbol z_{ij}$
W ekonometrii model efektów losowych może odnosić się wyłącznie do modelu losowego przechwytywania, jak w biostatystyce, tj. a jest skalarem. $\boldsymbol z_{ij}^{'}=1$ $\boldsymbol u_i$
W metaanalizie model efektu losowego zakłada niejednorodne efekty we wszystkich badaniach (DerSimonian i Laird, 1986).

Model brzeżny

Model brzeżny jest na ogół porównywany do modelu warunkowego (model efektów losowych), a ten pierwszy koncentruje się na średniej populacji (weźmy model liniowy na przykład) podczas gdy ten drugi dotyczy średniej warunkowejInterpretacja i skala współczynników regresji między modelem krańcowym a modelem efektów losowych byłaby inna dla modeli nieliniowych (np. Regresja logistyczna). Niech , a następnie

E (y_{i j}) = x_{i j}^{^{'}} β,

$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$

E (y_{i j} | u_{i}) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} .

$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$

h (E (y_{i j} | u_{i})) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i}

$h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$

E (y_{i j}) = E (E (y_{i j} | u_{i})) = E (h^{- 1} (x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i})) \neq h^{- 1} (x_{i j}^{^{'}} β),

$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$ chyba że trywialnie funkcja połączenia jest łączem tożsamości (model liniowy ) lub (brak efektów losowych). Dobre przykłady obejmują uogólnione równania szacunkowe (GEE; Zeger, Liang i Albert, 1988) oraz zmarginalizowane modele wielopoziomowe (Heagerty i Zeger, 2000).

h

$h$

u_{i} = 0

$u_i=0$

Randel
źródło

Dzięki, Randel. Jeszcze jedno pytanie dotyczące terminologii „model mieszany”. O ile rozumiem, w biostatystyce twoje równanie (*) nazwano by modelem mieszanym, ponieważ zawiera zarówno efekty losowe, jak i stałe. Czy to jest poprawne? Ale czy termin „model mieszany” jest również używany w ekonometrii? Jeśli tak, to do czego to się odnosi?

ameba mówi Przywróć Monikę

Tak, równanie (*) jest również nazywane modelem mieszanym w statystyce (bio). O ile mi wiadomo, ekonometria może nie nazwać go „modelem mieszanym”, ale „modelem efektów losowych” lub „modelem współczynnika losowego”, jeśli są zainteresowani heterogenicznością skupień. Dla mnie jedyną różnicą jest założenie o specyficznym dla klastra efekcie, stałym lub losowym.

Randel

@skan oznacza zmienne towarzyszące losowych efektów. Jest to wektor, a jest transpozycją.

z_{i j}

$\boldsymbol z_{ij}$

z_{i j}^{^{'}}

$\boldsymbol z_{ij}^{'}$

Randel

Oto szczegółowy przykład. Mam nadzieję, że to pomoże. @skan

Randel

@skan Nie sugeruje się, aby oba były wystarczające. Oto idealny przykład.

Randel

Popraw mnie, jeśli się tu mylę:

Koncepcyjnie istnieją cztery możliwe efekty: Stałe przechwytywanie, stały współczynnik, losowe przechwytywanie, losowy współczynnik. Większość modeli regresji to „efekty losowe”, więc mają losowe przechwyty i losowe współczynniki. Termin „efekt losowy” wszedł w życie w przeciwieństwie do „efektu stałego”.

„Efekt stały” występuje, gdy zmienna wpływa na część próbki, ale nie na wszystkie. Najprostsza wersja modelu z efektem stałym (koncepcyjnie) byłaby zmienną fikcyjną, dla efektu stałego z wartością binarną. Modele te mają pojedynczy losowy punkt przecięcia, stałe współczynniki efektu i współczynniki zmiennej losowej.

Następnym poziomem komplikacji (koncepcyjnie) jest sytuacja, gdy ustalony efekt nie jest binarny, lecz nominalny, z wieloma wartościami. W tym przypadku generowany jest model z wieloma punktami przechwytywania (po jednym dla każdej wartości nominalnej). W tym miejscu uzyskuje się klasyczne „wiele linii” modelu danych panelu , w którym każda z „opcji” zmiennej o stałym efekcie ma swój własny efekt. Zaletą zrzucenia wszystkich różnych serii danych specyficznych dla czynnika w jedną regresję (zamiast wykonywania każdego czynnika stałego efektu jako własnej regresji) jest to, że można zebrać wariancję wszystkich różnych efektów w jednym równaniu, i tak uzyskaj lepsze (bardziej pewne) wartości dla wszystkich swoich współczynników.

„Trzeci poziom” komplikacji miałby miejsce, gdy „ustalony efekt” sam w sobie jest zmienną losową, z tym wyjątkiem, że jego skutki są „ustalone”, aby wpływać tylko na podzbiór próbki. W tym momencie model będzie miał losowy punkt przecięcia, wiele stałych punktów przechwytywania i wiele zmiennych losowych. Myślę, że jest to tak zwany model „efektów mieszanych”?

Modele „efektu mieszanego” są wykorzystywane do modelowania wielopoziomowego (MLM), ponieważ „efekty stałe” można wykorzystać do zagnieżdżania jednego podzbioru danych w innym. To grupowanie może mieć wiele poziomów, z uczniami zagnieżdżonymi w klasach, zagnieżdżonymi w szkołach. Szkoła ma stały wpływ na klasy, a klasy na uczniów. (Szkoła może, ale nie musi, mieć ustalonego wpływu na ucznia, w zależności od projektu eksperymentalnego - nie jestem pewien)

Modele danych panelowych są modelami z efektem mieszanym, ale do grupowania używają dwóch wymiarów, zazwyczaj czasu i jakiejś kategorii.

Mox
źródło

Nie jestem pewien, co rozumiesz przez „Stałe efekty obejmują„ zestawy ”wyborów: A lub B; ... Do efektów losowych należą np. Masa ciała. Czy masz na myśli ustalone efekty dla zmiennych dyskretnych, efekty losowe dla zmiennych ciągłych? Nie jestem również pewien, dlaczego „używanie wielu zmiennych zastępczych dla tej samej rzeczy jest statystycznie nieodpowiednie”. Model efektów stałych w ekonometrii ma zmienną fikcyjną dla każdego „panelu”. Nie mogę się zgodzić z modelami „mieszanymi” ... Po „naprawieniu” przechwytywania przez grupowanie, one również nie mają losowego przechwytywania ”. Wiele modeli z efektami mieszanymi ma losowe przechwytywanie.

Randel

Moje zrozumienie jest niedoskonałe. Zmienię odpowiedź i spróbuję ponownie.

Mox,

Czy to możliwe, że zmienna pojawia się jednocześnie jako efekt stały i efekt losowy?

skan

< theanalysisfactor.com/mixed-models-predictor-both-fixed-random > mówi tak.

Mox