Wielokrotna regresja liniowa do testowania hipotez

Jestem zaznajomiony z wykorzystaniem wielu regresji liniowych do tworzenia modeli różnych zmiennych. Byłem jednak ciekawy, czy testy regresji są kiedykolwiek wykorzystywane do wykonywania podstawowych testów hipotez. Jeśli tak, to jak wyglądałyby te scenariusze / hipotezy?

Oto prosty przykład. Nie wiem, czy znasz R, ale mam nadzieję, że kod jest wystarczająco zrozumiały.

set.seed(9)        # this makes the example reproducible
N = 36
    # the following generates 3 variables:
x1 =     rep(seq(from=11, to=13),           each=12)
x2 = rep(rep(seq(from=90, to=150, by=20),   each=3 ), times=3)
x3 =     rep(seq(from=6,  to=18,  by=6 ),  times=12)
cbind(x1, x2, x3)[1:7,]    # 1st 7 cases, just to see the pattern
      x1  x2 x3
 [1,] 11  90  6
 [2,] 11  90 12
 [3,] 11  90 18
 [4,] 11 110  6
 [5,] 11 110 12
 [6,] 11 110 18
 [7,] 11 130  6 
    # the following is the true data generating process, note that y is a function of
    #   x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
    #   & that x2 tends to have less influence on the response variable than x1:
y  = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)

reg.Model = lm(y~x1+x2+x3)    # fits a regression model to these data

Teraz zobaczmy, jak to wygląda:

. . . 
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -1.76232   27.18170  -0.065  0.94871   
x1           3.11683    2.09795   1.486  0.14716   
x2           0.21214    0.07661   2.769  0.00927 **
x3           0.17748    0.34966   0.508  0.61524   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
. . . 
F-statistic: 3.378 on 3 and 32 DF,  p-value: 0.03016 

Możemy skoncentrować się na sekcji „Współczynniki” wyniku. Każdy parametr oszacowany przez model otrzymuje własny wiersz. Rzeczywiste oszacowanie jest wymienione w pierwszej kolumnie. Druga kolumna zawiera standardowe błędy oszacowań, czyli oszacowanie, ile oszacowań „odbijałoby się” od próbki do próbki, gdybyśmy powtarzali ten proces w kółko. Mówiąc dokładniej, jest to oszacowanie standardowego odchylenia rozkładu próbkowania oszacowania. Jeśli podzielimy oszacowanie każdego parametru przez jego SE, otrzymamy wynik t , który jest wymieniony w trzeciej kolumnie; służy to do testowania hipotez, a konkretnie do sprawdzenia, czy oszacowanie parametru jest „znacząco” różne od 0. Ostatnia kolumna toWartość p powiązana z tym wynikiem t-score. Prawdopodobieństwo znalezienia wartości szacunkowej daleko od 0, jeśli hipoteza zerowa była prawdziwa. Zauważ, że jeśli hipoteza zerowa nie jest prawdziwa, nie jest jasne, czy ta wartość mówi nam cokolwiek znaczącego.

Jeśli spojrzymy w tę iz powrotem między tabelą współczynników a powyższym procesem generowania prawdziwych danych, zobaczymy kilka interesujących rzeczy. Przecięcie jest szacowane na -1,8, a jego SE wynosi 27, podczas gdy prawdziwa wartość wynosi 15. Ponieważ powiązana wartość p wynosi 0,95, nie byłaby uważana za „znacząco różną” od 0 ( błąd typu II ), ale jest jednak w obrębie jednej SE prawdziwej wartości. Dlatego nie ma nic strasznie ekstremalnego w tym oszacowaniu z punktu widzenia prawdziwej wartości i kwoty, którą powinna ona zmieniać; po prostu mamy niewystarczającą moc, aby odróżnić ją od 0. Ta sama historia, mniej więcej, dotyczyx1x2$.21214\approx.2$x3x1przewiduje zmienną odpowiedzi lepiej niż sam przypadek. Innym sposobem na powiedzenie tego jest to, czy wszystkie oszacowania należy uznać za niemożliwe do odróżnienia od 0. Wyniki tego testu sugerują, że przynajmniej niektóre oszacowania parametrów nie są równe 0, inna poprawna decyzja. Ponieważ są 4 powyższe testy, bez tego nie mielibyśmy ochrony przed problemem wielokrotnych porównań . (Należy pamiętać, że ponieważ wartości p są zmiennymi losowymi - to, czy coś jest znaczące, różni się w zależności od eksperymentu, jeśli eksperyment zostałby ponownie przeprowadzony - możliwe jest, że będą one niespójne ze sobą. Omówiono to na CV tutaj: Istotność współczynników w regresji wielokrotnej: istotny test t vs. nieistotna statystyka F.i odwrotna sytuacja tutaj: w jaki sposób regresja może być znacząca, ale wszystkie predyktory mogą być nieistotne , a tutaj: statystyki F i t w regresji .) Być może, co ciekawe, w tym przykładzie nie ma błędów typu I. W każdym razie wszystkie 5 testów omówionych w tym akapicie są testami hipotez.

Z twojego komentarza, jak rozumiem, możesz również zastanawiać się, jak ustalić, czy jedna zmienna objaśniająca jest ważniejsza od drugiej. To bardzo częste pytanie, ale dość trudne. Wyobraź sobie, że chcesz przewidzieć potencjał sukcesu w sporcie na podstawie wzrostu i wagi sportowca i zastanawiasz się, co jest ważniejsze. Powszechną strategią jest sprawdzenie, który szacowany współczynnik jest większy. Jednak te szacunki są specyficzne dla użytych jednostek: na przykład współczynnik masy zmieni się w zależności od tego, czy zastosowane zostaną funty czy kilogramy. Ponadto nie jest jasne, jak zrównoważyć / porównać funty i cale lub kilogramy i centymetry. Jedną strategią stosowaną przez ludzi jest standaryzacja$R^2$$r=\sqrt{r^2}$

Niezbędnym testem w modelach regresji jest test Full-Reduced. Tutaj porównujesz 2 modele regresji, pełny model zawiera wszystkie warunki, a test zredukowany zawiera podzbiór tych terminów (model zredukowany musi być zagnieżdżony w modelu pełnym). Test sprawdza następnie hipotezę zerową, że zredukowany model pasuje tak samo dobrze, jak pełny model, a każda różnica wynika z przypadku.

Typowe wydruki z oprogramowania statystycznego obejmują ogólny test F, jest to tylko test w pełni zredukowany, w którym test zredukowany jest modelem wyłącznie przechwytującym. Często drukują również wartość p dla każdego predyktora, jest to tylko seria testów modelu w pełni zredukowanego, w każdym z nich model zredukowany nie zawiera tego konkretnego terminu. Istnieje wiele sposobów wykorzystania tych testów do odpowiedzi na interesujące pytania. W rzeczywistości prawie każdy test nauczany na kursie statystyk wprowadzających można obliczyć za pomocą modeli regresji i testu Full-Reduced, a wyniki będą identyczne w wielu przypadkach i bardzo zbliżone w kilku innych.