W jaki sposób regresja, test t i ANOVA są wszystkimi wersjami ogólnego modelu liniowego?

Jak wyglądają wszystkie wersje tej samej podstawowej metody statystycznej?

Rozważ, że wszystkie można zapisać jako równanie regresji (być może z nieco innymi interpretacjami niż ich tradycyjne formy).

Regresja:

$$Y=\beta_0 + \beta_1X_{\text{(continuous)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$

test t:

$$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$

ANOVA:

$$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$

Prototypowa regresja jest konceptualizowana za pomocą jako zmiennej ciągłej. Jednak jedynym założeniem, które jest faktycznie zrobione na temat X, jest to, że jest to wektor znanych stałych. Może to być zmienna ciągła, ale może to być również fikcyjny kod (tj. Wektor 0 i 1 , który wskazuje, czy obserwacja należy do wskazanej grupy - np. Grupy leczonej). Zatem w drugim równaniu X może być takim fałszywym kodem, a wartość p byłaby taka sama jak w teście t w jego bardziej tradycyjnej postaci. $X$$X$$0$$1$$X$

Znaczenie bet będzie tu jednak różne. W tym przypadku, byłaby średnia w grupie kontrolnej (w której pozycje w zmiennej obojętne byłoby 0 „S) i p 1 odpowiada różnicy pomiędzy średnią z grupy leczonej oraz średnią kontrolą Grupa. $\beta_0$$0$$\beta_1$

Teraz pamiętaj, że całkowicie uzasadnione jest posiadanie / uruchamianie ANOVA tylko z dwiema grupami (chociaż test t byłby bardziej powszechny) i wszystkie trzy są połączone. Jeśli wolisz zobaczyć, jak by to działało, gdybyś miał ANOVA z 3 grupami; byłoby to: Zauważ, że kiedy maszgrupy g , masz g - 1 kody zastępcze, które je reprezentują. W grupie odniesienia (zwykle grupa kontrolna) jest wskazane poprzez 0 „swszystkichkodów manekina (w tym przypadku zarówno obojętne kodu 1 i obojętne numer 2). W tym przypadku nie chcesz interpretować wartości p dla testów beta dla tych bet, które mają standardowe wyniki statystyczne - wskazują one tylko, czy wskazana grupa różni się od grupy kontrolnej,gdy jest oceniana w izolacji

$$Y=\beta_0 + \beta_1X_{\text{(dummy code 1)}} + \beta_2X_{\text{(dummy code 2)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$ $g$$g-1$$0$. Oznacza to, że testy te nie są niezależne. Zamiast tego chciałbyś ocenić, czy średnie dla grupy różnią się, konstruując tabelę ANOVA i przeprowadzając test F. Dla tego, co jest warte, beta interpretuje się tak samo, jak w opisanej powyżej wersji testu t: jest średnią grupy kontrolnej / referencyjnej, β 1 wskazuje różnicę między średnimi grupy 1 a grupą referencyjną, a β 2 wskazuje różnicę między grupą 2 a grupą odniesienia. $\beta_0$$\beta_1$$\beta_2$

---

W świetle poniższych komentarzy @ Whubera można je również przedstawić za pomocą równań macierzowych:
Reprezentowane w ten sposób, Y i ε są wektorami o długości N , a β jest wektorem o długości p + 1 . X jest teraz macierzą z N rzędami i ( p + 1 ) kolumnami. W prototypowego regresji masz p ciągła X zmienne i wyraz wolny. Zatem twój

$$\bf Y=\bf X\boldsymbol\beta + \boldsymbol\varepsilon$$ $\bf Y$$\boldsymbol\varepsilon$$N$$\boldsymbol\beta$$p+1$$\bf X$$N$$(p+1)$$p$$X$$\bf X$macierz składa się z szeregu wektorów kolumnowych, po jednym dla każdej zmiennej , z kolumną 1 po lewej stronie dla przecięcia. $X$$1$

Jeśli reprezentujesz w ten sposób ANOVA z grupami , pamiętaj, że miałbyś zmienne fikcyjne g - 1 wskazujące grupy, z grupą odniesienia wskazaną przez obserwację mającą 0 w każdej zmiennej fikcyjnej. Jak wyżej, nadal będziesz mieć przechwytywanie. Zatem p = g - 1 . $g$$g-1$$0$$p=g-1$

Wszystkie można zapisać jako szczególne przypadki ogólnego modelu liniowego.

Test t jest przypadkiem ANOVA dla dwóch próbek. Jeśli wyrównasz statystyki testu t, uzyskasz odpowiadające w ANOVA.$F$

Model ANOVA jest w zasadzie tylko modelem regresji, w którym poziomy czynników są reprezentowane przez zmienne fikcyjne (lub wskaźnikowe ) .

$Y$

---

$t$

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33 

Zwróć uwagę na wartość p 0,079 powyżej. Oto anova w jedną stronę:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605                 

Teraz regresja:

> summary(lm(extra ~ group, data = sleep))

(niektóre dane wyjściowe usunięte)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

Porównaj wartość p w wierszu „grupa 2”, a także wartość p dla testu F w ostatnim wierszu. W przypadku testu dwustronnego są one takie same i oba odpowiadają wynikowi testu t.

Ponadto współczynnik dla „grupy 2” reprezentuje różnicę średnich dla dwóch grup.

Ta odpowiedź , którą zamieściłem wcześniej, jest dość trafna, ale to pytanie jest nieco inne.

Możesz pomyśleć o różnicach i podobieństwach między następującymi modelami liniowymi:

$$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ 1 & x_3 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \alpha_1 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$$ $$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & 0 & 0 & \cdots & 0 \\ \hline 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 1 & 0 & \cdots & 0 \\ \hline 0 & 0 & 1 & \cdots & 0 \\ \vdots & & & & \vdots \\ \vdots & & & & \vdots \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \vdots \\ \alpha_k \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$$

Anova jest podobna do testu t dla równości średnich przy założeniu nieznanych, ale równych wariancji między zabiegami. Wynika to z faktu, że w analizie ANOVA MSE jest identyczna z wariancją z puli stosowaną w teście t. Istnieją inne wersje testu t, takie jak test na nierównomierne wariancje i test t dla par. Z tego widoku test t może być bardziej elastyczny.