Typowe testy statystyczne jako modele liniowe

(AKTUALIZACJA: Zagłębiłem się w to i opublikowałem wyniki tutaj )

Lista nazwanych testów statystycznych jest ogromna. Wiele powszechnych testów opiera się na wnioskowaniu z prostych modeli liniowych, np. Test t dla jednej próbki to po prostu y = β + ε, który jest testowany względem modelu zerowego y = μ + ε, tzn. Że β = μ, gdzie μ jest trochę zerowe wartość - zazwyczaj μ = 0.

Uważam, że jest to o wiele bardziej pouczające do celów dydaktycznych niż nauka na pamięć nazwanych modeli, kiedy ich używać i ich założeń, jak gdyby nie mieli ze sobą nic wspólnego. Takie podejście promuje nie promuje zrozumienia. Nie mogę jednak znaleźć dobrego zasobu, który to zbierze. Bardziej interesują mnie równoważności między podstawowymi modelami niż metoda wnioskowania na ich podstawie. Chociaż, o ile widzę, testy współczynnika prawdopodobieństwa na wszystkich tych liniowych modelach dają takie same wyniki jak wnioskowanie „klasyczne”.

Oto równoważności, których się nauczyłem do tej pory, ignorując termin błędu $\varepsilon \sim \mathcal N(0, \sigma^2)$ i zakładając, że wszystkie hipotezy zerowe są nieobecnością efektu:

Test t dla jednej próbki: $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$.

Test t dla próbki sparowanej: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Jest to identyczne z testem t dla jednej próby na różnicach par.

Test t dla dwóch próbek: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

gdzie x jest wskaźnikiem (0 lub 1).

Korelacja Pearsona: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Zwróć uwagę na podobieństwo do dwupróbkowego testu t, który jest po prostu regresją na binarnej osi x.

Korelacja Spearmana: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Jest to identyczne z korelacją Pearsona dla xiy przekształconych rangą.

ANOVA jednokierunkowa: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

gdzie $x_i$ są wskaźnikami wybierającymi odpowiedni $\beta$ (jeden $x$ to 1; pozostałe to 0). Model może prawdopodobnie być sporządzone w postaci macierzowej jako a $Y = \beta * X$ .

Dwukierunkowa ANOVA: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

dla dwóch dwupoziomowych czynników. Powyżej $\beta_i$ są wektorami beta gdzie wybrany jest wskaźnikiem wektora $X_i$ . $\mathcal{H}_0$ pokazany jest tu efekt interakcji.

Czy możemy dodać więcej „nazwanych testów” do tej listy modeli liniowych? Np. Regresja wielowymiarowa, inne testy „nieparametryczne”, testy dwumianowe lub RM-ANOVA?

AKTUALIZACJA: zadano pytania i odpowiedzi dotyczące ANOVA i testów t jako modeli liniowych tutaj na SO. Zobacz to pytanie i oznaczone pytania powiązane .

Nie jest to wyczerpująca lista, ale jeśli uwzględnisz uogólnione modele liniowe, zakres tego problemu staje się znacznie większy.

Na przykład:

The $p \times k$ jest model log-liniowy dla częstotliwości komórkowych podanych przez:

Również test t dla nierównych wariancji jest dobrze aproksymowany przy użyciu solidnego oszacowania błędu Huber White.