Praktyczne zasady dotyczące minimalnej wielkości próby dla regresji wielokrotnej

72

W kontekście propozycji badań w naukach społecznych zadano mi następujące pytanie:

Zawsze ustalałem minimalną wielkość próby dla regresji wielokrotnej o 100 + m (gdzie m jest liczbą predyktorów). Czy to jest właściwe?

Często otrzymuję podobne pytania, często o różnych regułach. Często czytałem takie praktyczne zasady w różnych podręcznikach. Czasami zastanawiam się, czy popularność reguły pod względem cytowań zależy od tego, jak niski jest standard. Jestem jednak świadomy wartości dobrej heurystyki dla uproszczenia procesu decyzyjnego.

Pytania:

  • Jaka jest użyteczność prostych reguł praktycznych dla minimalnych rozmiarów próbek w kontekście badaczy stosowanych opracowujących badania naukowe?
  • Czy zasugerowałbyś alternatywną zasadę dotyczącą minimalnej wielkości próby dla regresji wielokrotnej?
  • Alternatywnie, jakie alternatywne strategie sugerowałbyś do określenia minimalnej wielkości próby dla regresji wielokrotnej? W szczególności dobrze byłoby, gdyby wartość została przypisana do stopnia, w jakim dowolna strategia może być łatwo zastosowana przez statystykę niestatystyczną.
Jeromy Anglim
źródło

Odpowiedzi:

36

Nie jestem fanem prostych wzorów do generowania minimalnych rozmiarów próbek. Przynajmniej każda formuła powinna uwzględniać wielkość efektu i interesujące pytania. Różnica między obiema stronami granicy jest minimalna.

Rozmiar próbki jako problem optymalizacji

  • Większe próbki są lepsze.
  • Wielkość próby jest często określana przez względy pragmatyczne.
  • Wielkość próby powinna być postrzegana jako jeden z czynników problemu optymalizacji, w którym koszt czasu, pieniędzy, wysiłku itp. W porównaniu do pozyskania dodatkowych uczestników jest porównywany z korzyściami wynikającymi z posiadania dodatkowych uczestników.

Surowa zasada kciuka

Jeśli chodzi o bardzo surowe reguły praktyczne w typowym kontekście obserwacyjnych badań psychologicznych obejmujących takie rzeczy, jak testy umiejętności, skale postaw, miary osobowości i tak dalej, czasami myślę o:

  • n = 100 jako odpowiednie
  • n = 200 tak dobrze
  • n = 400 + tak wspaniale

Te podstawowe zasady opierają się na 95% przedziałach ufności związanych z korelacjami na tych odpowiednich poziomach oraz na stopniu precyzji, który chciałbym teoretycznie zrozumieć relacje interesów. Jest to jednak tylko heurystyka.

G Moc 3

Regresja wielokrotna testuje wiele hipotez

  • Wszelkie pytania dotyczące analizy mocy wymagają uwzględnienia wielkości efektu.
  • Analiza mocy dla regresji wielokrotnej jest komplikowana przez fakt, że istnieje wiele efektów, w tym ogólny kwadrat r i jeden dla każdego indywidualnego współczynnika. Ponadto większość badań obejmuje więcej niż jedną regresję wielokrotną. Dla mnie jest to kolejny powód, aby polegać bardziej na ogólnej heurystyce i myśleć o minimalnym rozmiarze efektu, który chcesz wykryć.

  • W odniesieniu do regresji wielokrotnej często myślę więcej w kategoriach stopnia precyzji w szacowaniu podstawowej macierzy korelacji.

Dokładność w szacowaniu parametrów

Lubię też dyskusję Kena Kelleya i kolegów na temat dokładności w szacowaniu parametrów.

  • Zobacz stronę internetową Ken Kelley dla wydawnictw
  • Jak wspomnieli @Dmitrij, Kelley i Maxwell (2003) DARMOWY PDF zawiera przydatny artykuł.
  • Ken Kelley opracował MBESSpakiet w języku R do przeprowadzania analiz dotyczących wielkości próby i precyzji w szacowaniu parametrów.
Jeromy Anglim
źródło
17

nR2R2Radj2R21(1R2)n1np1R2

pn1Radj2kR2k

require(Hmisc)
dop <- function(k, type) {
  z <- list()
  R2 <- seq(.01, .99, by=.01)
  for(a in k) z[[as.character(a)]] <-
    list(R2=R2, pfact=if(type=='relative') ((1/R2) - a) / (1 - a) else
         (1 - R2 + a) /  a)
  labcurve(z, pl=TRUE, ylim=c(0,100), adj=0, offset=3,
           xlab=expression(R^2), ylab=expression(paste('Multiple of ',p)))
}
par(mfrow=c(1,2))
dop(c(.9, .95, .975), 'relative')
dop(c(.075, .05, .04, .025, .02, .01), 'absolute')

wprowadź opis zdjęcia tutajR2R2Radj2

Jeśli ktoś widział to już w druku, daj mi znać.

Frank Harrell
źródło
1
R^2R2Radj2NNR^2R2
@FrankHarrell: spójrz tutaj, autor zdaje się używać działek 260-263 w podobny sposób, jak te w twoim poście powyżej.
user603
5
Radj2R2
12

(+1) za rzeczywiście kluczowe, moim zdaniem, pytanie.

4m4

Większość wielkości próbek jest powiązana z siłą testów hipotezy, którą zamierzasz przetestować po dopasowaniu modelu regresji wielokrotnej.

Jest ładny kalkulator, który może być przydatny w modelach z wieloma regresjami i pewną formułą za kulisami. Wydaje mi się, że taki statystyczny kalkulator mógłby z łatwością zastosować statystyczny.

Prawdopodobnie artykuł K. Kelley i SEMaxwell może być pomocny w odpowiedzi na inne pytania, ale najpierw potrzebuję więcej czasu, aby przestudiować problem.

Dmitrij Celov
źródło
11

mm=500500600

mm+1nm1m+1nO(m+1n)n=k(m+1)kO(1k)kk1020301,2,,26,27,28,29,

prawdopodobieństwo prawdopodobieństwa
źródło
Mówisz, że od 10 do 20 jest dobre, ale czy to zależy również od wielkości wariancji błędu (być może w stosunku do innych rzeczy)? Załóżmy na przykład, że istnieje tylko jedna zmienna predykcyjna. Jeśli wiadomo, że wariancja błędu była naprawdę niewielka, wydaje się, że 3 lub 4 punkty danych mogą wystarczyć do wiarygodnego oszacowania nachylenia i przechwycenia. Z drugiej strony, gdyby wiadomo było, że wariancja błędu jest ogromna, nawet 50 punktów danych może być nieodpowiednich. Czy coś nie rozumiem?
mark999
Czy możesz podać jakieś odniesienie do sugerowanego równania n=k(m+1)?
Sosi,
6

W psychologii:

N>50+8mN>104+m

Inne zasady, których można użyć to ...

50

1030

adria
źródło
1
Twoja pierwsza „reguła” nie ma w niej m.
Dason
Jego pierwsza zasada jest napisana w ten sposób N = 50 + 8 m, że kwestionowano, czy rzeczywiście potrzebny jest termin 50
Sosi,
Dodałem nową i bardziej złożoną zasadę, która uwzględnia wielkość efektu próbki. Przedstawił to także Green (1991).
Sosi,
2
Jakie są pełne cytowania referencji Green (1991) i Harris (1985)?
Hatszepsut
2

Zgadzam się, że kalkulatory mocy są przydatne, szczególnie w celu zobaczenia wpływu różnych czynników na moc. W tym sensie kalkulatory zawierające więcej informacji wejściowych są znacznie lepsze. W przypadku regresji liniowej podoba mi się tutaj kalkulator regresji , który zawiera takie czynniki, jak błąd w X, korelacja między X i więcej.

Galit Shmueli
źródło
0

R2

( pdf )

Oczywiście, jak również potwierdzono w pracy, (względna) bezstronność niekoniecznie oznacza posiadanie wystarczającej mocy statystycznej. Jednak obliczenia mocy i wielkości próby są zwykle wykonywane przez określenie oczekiwanych efektów; w przypadku regresji wielokrotnej oznacza to hipotezę na temat wartości współczynników regresji lub macierzy korelacji między regresorami, a wynik musi zostać sformułowany. W praktyce zależy to od siły korelacji regresorów z wynikiem i między nimi (oczywiście im silniejsze, tym lepsza korelacja z wynikiem, podczas gdy sytuacja pogarsza się z wielokoliniowością). Na przykład, w skrajnym przypadku dwóch idealnie współliniowych zmiennych, nie można przeprowadzić regresji niezależnie od liczby obserwacji, a nawet przy tylko 2 współzmiennych.

Federico Tedeschi
źródło