Testowanie równości współczynników z dwóch różnych regresji

Wydaje się to być podstawową kwestią, ale właśnie zdałem sobie sprawę, że tak naprawdę nie wiem, jak przetestować równość współczynników z dwóch różnych regresji. Czy ktoś może rzucić na to trochę światła?

Bardziej formalnie, załóżmy, że uruchomiłem następujące dwie regresje: i gdzie odnosi się do macierzy projektowej regresji , a do wektora współczynników w regresji . Zauważ, że i są potencjalnie bardzo różne, z różnymi wymiarami itp. Interesuje mnie na przykład, czy .

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

Gdyby pochodziły z tej samej regresji, byłoby to banalne. Ale ponieważ pochodzą one z różnych, nie jestem pewien, jak to zrobić. Czy ktoś ma pomysł lub może dać mi jakieś wskazówki?

Mój problem w szczegółach: moją pierwszą intuicją było przyjrzenie się przedziałom ufności, a jeśli się pokrywają, to powiedziałbym, że są zasadniczo takie same. Ta procedura nie ma jednak prawidłowego rozmiaru testu (tzn. Każdy indywidualny przedział ufności ma , powiedzmy, ale wspólne oglądanie ich nie będzie miało tego samego prawdopodobieństwa). Moją „drugą” intuicją było przeprowadzenie normalnego testu t. To znaczy weź $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

gdzie jest traktowane jako wartość mojej hipotezy zerowej. Nie bierze to jednak pod uwagę niepewności oszacowania , a odpowiedź może zależeć od kolejności regresji (którą nazywam 1 i 2). $\beta_{21}$ $\beta_{21}$

Moim trzecim pomysłem było zrobienie tego jak w standardowym teście równości dwóch współczynników z tej samej regresji, czyli weź

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

Powikłanie wynika z faktu, że oba pochodzą z różnych regresji. Zauważ, że

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ ale od pochodzą z różnych regresji, jak mogę uzyskać ?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

To skłoniło mnie do zadania tego pytania tutaj. To musi być standardowa procedura / standardowy test, ale nie mogę znaleźć niczego, co byłoby wystarczająco podobne do tego problemu. Tak więc, jeśli ktokolwiek może wskazać mi prawidłową procedurę, byłbym bardzo wdzięczny!

hypothesis-testing inference coffeinjunky
źródło

Wydaje się, że dotyczy to modelowania równań strukturalnych / symultanicznych. Jednym ze sposobów rozwiązania tego problemu jest dopasowanie obu równań jednocześnie, np. Z maksymalnym prawdopodobieństwem, a następnie zastosowanie testu ilorazu wiarygodności modelu ograniczonego (model o równych parametrach) w stosunku do modelu nieograniczonego. Praktycznie można to zrobić za pomocą oprogramowania SEM (Mplus, lavaan itp.)

tomka

Czy wiesz o pozornie niezwiązanej regresji (SUR)?

Dimitriy V. Masterov

Myślę, że pytanie, które podniosłeś, tj. Jak uzyskać cov obu współczynników, zostało rozwiązane przez SEM, który dałby ci macierz var-cov wszystkich współczynników. Następnie możesz użyć testu Walda w sposób zaproponowany przez ciebie zamiast testu LRT. Ponadto możesz również użyć ponownego próbkowania / bootstrap, które mogą być bardziej bezpośrednie.

tomka

Tak, masz rację, @tomka. W modelu SUR (który możesz luźno uznać za specjalny przypadek modeli SEM), mogę uzyskać odpowiedni test. Dzięki za skierowanie mnie w tym kierunku! Myślę, że nie myślałem o tym, ponieważ to trochę przypomina strzelanie do wróbla z armaty, ale naprawdę nie mogę wymyślić lepszego sposobu. Jeśli napiszesz odpowiedź, oznaczę ją jako poprawną. W przeciwnym razie napiszę to wkrótce, z krótkim wyjaśnieniem teoretycznym i potencjalnie z przykładem.

coffeinjunky 12.04.14

SUR jest dość łatwy do wdrożenia. Oto jeden przykład ze Statą . Z R chcesz systemfit .

Dimitriy V. Masterov

Odpowiedzi:

Chociaż nie jest to powszechna analiza, naprawdę jest interesująca. Przyjęta odpowiedź pasuje do sposobu, w jaki zadałeś pytanie, ale przedstawię inną dość dobrze przyjętą technikę, która może, ale nie musi być równoważna (zostawię to lepszym umysłom, aby skomentować to).

Podejście to polega na zastosowaniu następującego testu Z:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Gdzie jest standardowym błędem . $SE\beta$ $\beta$

To równanie zapewnia Clogg, CC, Petkova, E., i Haritou, A. (1995). Metody statystyczne do porównywania współczynników regresji między modelami. American Journal of Sociology , 100 (5), 1261-1293. i jest cytowany przez Paternoster, R., Brame, R., Mazerolle, P., i Piquero, A. (1998). Przy użyciu poprawnego testu statystycznego dla równości współczynników regresji. Kryminologia , 36 (4), 859-866. równanie 4, które jest dostępne za darmo z paywall. Dostosowałem formułę Peternostera do używania zamiast $\beta$ $b$ ponieważ możliwe jest, że możesz być zainteresowany różnymi DV z jakiegoś okropnego powodu i mojej pamięci Clogga i in. było to, że ich formuła użyła . Pamiętam też krzyżowe sprawdzanie tej formuły względem Cohena, Cohena, Westa i Aikena, a korzenie tego samego myślenia można znaleźć w przedziale ufności różnic między współczynnikami, równanie 2.8.6, str. 46–47. $\beta$

russellpierce
źródło

Zobacz także: stats.stackexchange.com/questions/55501/…

russellpierce

Świetna odpowiedź! pytanie: czy dotyczy to również kombinacji liniowych z Modelu 1 i z Modelu 2? Na przykład

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

Sibbs Gambling

Zauważam też, że artykuł omawia przypadek, w którym jeden model jest zagnieżdżony w drugim, a DV dwóch modeli są takie same. Co jeśli te dwa warunki nie są spełnione? Zamiast tego mam matryce projektowe dwóch modeli są takie same, ale mają różne DV. Czy ta formuła nadal obowiązuje? Wielkie dzięki!

Sibbs Gambling

@SibbsGambling: Możesz zadać to pytanie samo w sobie, aby zwrócić większą uwagę.

russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

W przypadku osób o podobnym pytaniu przedstawię prosty zarys odpowiedzi.

$y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

Doprowadzi to do powstania macierzy wariancji-kowariancji, która pozwala na sprawdzenie równości dwóch współczynników.

coffeinjunky
źródło

Wdrożyłem sposób, który zasugerowałeś i porównałem z powyższym. Odkryłem, że kluczową różnicą jest to, czy założenie, że wariancja błędu jest taka sama, czy nie. Twój sposób zakłada, że wariancja błędu jest taka sama, a powyższa metoda tego nie zakłada.

KH Kim

To działało dla mnie dobrze. W Stacie zrobiłem coś takiego: expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); Używając klastrowych standardowych kont błędów, ponieważ e1 i e2 nie są niezależne dla tej samej obserwacji po ułożeniu zestawu danych.

wkschwartz

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E. i Haritou, A. (1995). Statystyczne metody porównywania współczynników regresji między modelami. American Journal of Sociology, 100 (5), 1261-1293.) Przedstawia odpowiedź w szczególnym przypadku zagnieżdżonych równań (tj. aby uzyskać drugie równanie, rozważ pierwsze równanie i dodaj kilka zmiennych objaśniających) Mówią, że jest łatwe do wdrożenia.
Jeśli dobrze to rozumiem, w tym szczególnym przypadku można również wdrożyć test Haussmana. Kluczową różnicą jest to, że ich test uznaje za prawdziwe drugie (pełne) równanie, podczas gdy test Haussmana uznaje za prawdziwe pierwsze równanie.
Należy zauważyć, że Clogg i in. (1995) nie nadaje się do danych panelowych. Ale ich test został uogólniony przez (Yan, J., Aseltine Jr, RH i Harel, O. (2013). Porównanie współczynników regresji między zagnieżdżonymi modelami liniowymi dla grupowanych danych z uogólnionymi równaniami szacunkowymi. Journal of Educational and Behavioral Statistics, 38 (2), 172–189.) Z pakietem udostępnionym w języku R: geepack Patrz: https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

I (dla pakietu R): https://cran.r-project.org/web/packages/geepack/index.html

Alexandre Cazenave-Lacroutz
źródło