Różnica między testem t a ANOVA w regresji liniowej

Zastanawiam się, jakie są różnice między testem t a ANOVA w regresji liniowej?

Czy test t sprawdza, czy którykolwiek z nachyleń i przecięcia ma średnią zero, podczas gdy ANOVA sprawdza, czy wszystkie nachylenia mają średnią zero? Czy to jedyna różnica między nimi?
W prostej regresji liniowej, tj. Gdy istnieje tylko jedna zmienna predykcyjna, istnieje tylko jedno nachylenie do oszacowania. Czy test t i ANOVA są równoważne, a jeśli tak, to w jaki sposób, biorąc pod uwagę, że wykorzystują one inne statystyki (test t używa statystyki t, a ANOVA używa statystyki F)?

regression anova t-test Tim
źródło

Ad 1) W regresji liniowej normalnie rozumiem ANOVA jako miarę dobroci dopasowania modelu, tj. Do decydowania, czy model (linia regresji) wyjaśnia istotną część całkowitej zmienności. Pytanie, czy jest równoważne zeru na wszystkich zboczach, jest naprawdę bardzo interesujące. Ad 2) wygląda na to, że w tym przypadku otrzymuję prawie takie same wartości p dla testu t i ANOVA regresji. Naprawdę ciekawe twierdzenie!

Ciekawe

Odpowiedzi:

Ogólny model liniowy pozwala nam napisać model ANOVA jako model regresji. Załóżmy, że mamy dwie grupy z dwiema obserwacjami, tj. Cztery obserwacje w wektorze . Zatem pierwotnym, nadparametryzowanym modelem jest , gdzie jest macierzą predyktorów, tj. wskaźnikowych kodowanych : $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

Parametry nie są identyfikowalne jako ponieważ ma rangę 2 ( nie jest odwracalna). Aby to zmienić, wprowadzamy ograniczenie (kontrasty leczenia), co daje nam nowy model : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

$\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

$t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ jest -dystrybucja z df (tutaj ). Kiedy kwadrat , otrzymujesz , statystyka testowa z testu ANOVA dla dwóch grup ( dla pomiędzy, dla wewnątrz grup), który następuje po - rozkład z 1 in df. $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

Przy więcej niż dwóch grupach hipoteza ANOVA (wszystkie mają jednocześnie 0, z ) odnosi się do więcej niż jednego parametru i nie może być wyrażona jako kombinacja liniowa , więc testy nie są równoważne . $\beta_{j}$ $1 \leq j$ $\psi$

karakal
źródło

W 1 ANOVA zwykle bada zmienne czynnikowe i czy różnica między grupami jest znacząca. Wyraźnie zobaczysz różnicę, jeśli twoje oprogramowanie zezwala na zmienne wskaźnikowe w regresji: dla każdego manekina dostaniesz wartość p, mówiąc, czy wyniki tej grupy znacznie różnią się od 0, aw konsekwencji znacznie różnią się od stosowanej grupy odniesienia lub wartości odniesienia . Zwykle nie zobaczysz, w jakim stopniu sam wskaźnik jest ważny, dopóki nie wykonasz testu ANOVA.

Test F jest kwadratowym testem t. Dlatego w 2 jest tak samo.

Rodzić
źródło

Dzięki! (1) Co oznaczają tutaj zmienne wskaźnikowe? (2) Zasadniczo test t jest równoważny z ANOVA tylko wtedy, gdy istnieją tylko dwie grupy. Ale w prostej regresji liniowej mogą istnieć więcej niż dwie grupy, gdzie liczba grup jest liczbą wartości, które zmienna predykcyjna przyjmuje w zbiorze danych.

Tim

(1) Wskaźnik lub zmienna kategorialna lub czynnikowa ... wszystko jedno. (2) Rzeczywiście, ale możesz chcieć wiedzieć, jak dobrze zestaw manekinów / kategorii wyniki z ANOVA.

Labor

Dzięki! (2) Więc w prostej regresji liniowej, w jaki sposób test t jest równoważny ANOVA, skoro istnieją więcej niż dwie grupy? Co znaczy „jak dobrze zestaw wyników manekinów / kategorii z ANOVA” i dlaczego chcę to wiedzieć?

Tim

W regresji OLS R² (wyjaśniona wariancja) będzie równy eta² lub MSS / TSS z ANOVA bez względu na to, ile grup zdefiniujesz. Następnie możesz chcieć poznać wkład zestawu manekinów (tj. Zmienną wskaźnikową), aby powiedzieć, czy sam zestaw jest odpowiedni i w jakim zakresie, który różni się od znaczenia różnicy między jedną kategorią a kategorią odniesienia .

Labour