Jaka jest interpretacja kowariancji współczynników regresji?

Funkcja lm w R może wydrukować szacunkową kowariancję współczynników regresji. Co dają nam te informacje? Czy możemy teraz lepiej interpretować model lub diagnozować problemy, które mogą występować w modelu?

r multiple-regression least-squares mss
źródło

Taka sama interpretacja jak wszystkie inne kowariancje --- kowariacja liniowa? Głównym zastosowaniem jest obliczenie wariancji wybranych kontrastów będących przedmiotem zainteresowania, na przykład w celu przetestowania kontrastów.

kjetil b halvorsen

Odpowiedzi:

Najbardziej podstawowym zastosowaniem macierzy kowariancji jest uzyskanie standardowych błędów oszacowań regresji. Jeśli badacz jest zainteresowany jedynie standardowymi błędami poszczególnych parametrów regresji, może po prostu wziąć pierwiastek kwadratowy przekątnej, aby uzyskać poszczególne standardowe błędy.

Jednak często możesz być zainteresowany liniową kombinacją parametrów regresji. Na przykład, jeśli masz zmienną wskaźnikową dla danej grupy, możesz zainteresować się średnią grupy, która byłaby

$\beta_0 + \beta_{\rm grp}$ .

Następnie, aby znaleźć błąd standardowy szacowanej średniej dla tej grupy, musiałbyś

$\sqrt{X^\top S X}$ ,

gdzie jest wektorem kontrastów, a jest macierzą kowariancji. W naszym przypadku, jeśli mamy tylko zmienną towarzyszącą „grp”, to ( dla przecięcia, dla przynależności do grupy). $X$ $S$ $X = (1,1)$ $1$ $1$

Co więcej, macierz kowariancji (lub więcej, macierz korelacji, która jest jednoznacznie identyfikowana z macierzy kowariancji, ale nie odwrotnie) może być bardzo przydatna w niektórych modelach diagnostycznych. Jeśli dwie zmienne są wysoce skorelowane, jednym ze sposobów myślenia o tym jest to, że model ma problem z ustaleniem, która zmienna jest odpowiedzialna za efekt (ponieważ są one tak ściśle powiązane). Może to być pomocne w wielu różnych przypadkach, takich jak wybór podzbiorów zmiennych towarzyszących do zastosowania w modelu predykcyjnym; jeśli dwie zmienne są wysoce skorelowane, możesz chcieć użyć tylko jednej z dwóch w modelu predykcyjnym.

Cliff AB
źródło

Dziękuję za wyjaśnienie. W ostatnim akapicie opisujesz problemy, które mogą powstać, gdy zmienne niezależne są wysoce współliniowe. Wydaje się, że łatwiej byłoby spojrzeć na kowariancję / korelację rzeczywistych niż . we wzorze znajduje się odwrotność.

X

$X$

β

$\beta$

V. za r (\hat{β}) = mi ({\hat{ε}}^{2)}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

mss

Istnieją dwa „rodzaje” współczynników regresji:

„Prawdziwe” współczynniki regresji (zwykle oznaczane ), które opisują podstawowy proces generowania danych. Są to stałe liczby lub „parametry”. Przykładem może być prędkość światła , która (zakładamy) jest zawsze taka sama wszędzie w dostępnym wszechświecie. $\beta$ $c$
Szacowane współczynniki regresji (zwykle oznaczane jako lub ), które są obliczane na podstawie próbek danych. Próbki to zbiory zmiennych losowych, więc oszacowane współczynniki regresji są również zmiennymi losowymi. Przykładem może być oszacowanie uzyskane w eksperymencie. $b$ $\hat \beta$ $c$

Teraz zastanów się, co oznacza kowariancja. Weźmy dowolne dwie zmienne losowe i . Jeślijest wysoka, to za każdym razem, gdy narysujesz dużą wartość bezwzględną , możesz również oczekiwać, że narysujesz dużą wartość bezwzględną w tym samym kierunku. Zauważ, że „wysoki” tutaj odnosi się do wielkości zmienności i , jak wskazano w komentarzach. $X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

(Szacowana) kowariancja dwóch współczynników regresji jest kowariancją szacunków , . Jeśli kowariancja między szacowanymi współczynnikami i jest wysoka, to w każdej próbce, w której jest wysoki, można również oczekiwać, że będzie wysoki. W bardziej bayesowskim sensie zawiera informacje o . $b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

Zauważ jeszcze raz, że „wysoki” jest względny. Tutaj „ jest wysoki” oznacza, że „ jest wysoki w stosunku do standardowego błędu”, a ich kowariancja jest „wysoka” oznacza „wysoka w stosunku do iloczynu ich standardowych błędów”. Jednym ze sposobów na złagodzenie tych interpretacyjnych czkawek jest ustandaryzowanie każdego wejścia regresji poprzez podzielenie przez odchylenie standardowe (lub w niektórych przypadkach dwa odchylenia standardowe). $b_1$ $b_1$

Jeden użytkownik na tej stronie opisał jako „trochę krówki”, ale nie do końca się z tym zgadzam. Po pierwsze, możesz użyć tej interpretacji, aby wymyślić pouczające priory w regresji bayesowskiej. $\mathrm{Cov}\left(b_1,b_2\right)$

Jeśli chodzi o to, do czego jest to właściwie wykorzystane, odpowiedź Cliff AB jest dobrym podsumowaniem.

Shadowtalker
źródło

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@ Whuber dzięki, a ja w pewnym momencie napisałem „korelację”.

Posprzątam,

Ponieważ mogę nie wrócić do tego wątku przez jakiś czas, +1 z góry za zmiany!

whuber

popełniłem ten sam błąd w moim opisie!

Cliff AB

@ Whuber teraz właściwie zgaduję, jak rozumiem kowariancję. Czy moim problemem jest to, że nie podkreśliłem, że skale mogą być inne, czy też brakuje mi czegoś innego? Natknąłem się na twoje wyjaśnienie „skrzynek” i nie rozumiem, co to może być

shadowtalker