Obliczanie mocy statystycznej

22

Jak rozumiem, muszę znać co najmniej trzy aspekty (spośród czterech) mojego proponowanego badania, aby przeprowadzić analizę mocy, a mianowicie:

  • rodzaj testu - Zamierzam użyć Pearsona i ANCOVA / Regresja - GLM
  • poziom istotności (alfa) - Zamierzam użyć 0,05
  • oczekiwany rozmiar efektu - zamierzam użyć średniej wielkości efektu (0,5)
  • wielkość próbki

Czy ktoś mógłby polecić dobry kalkulator mocy online, którego mogę użyć do obliczenia mocy a priori . (Czy SPSS może wykonać obliczenie mocy a priori ?)

Natknąłem się na GPower, ale szukam prostszego narzędzia!

power-analysis Adhesh Josh
źródło
Niestety pakiet SPSS nie zawiera modułu do analizy mocy. Firma IBM SPSS sprzedaje osobny program do analizy mocy.
ttnphns
6
Dałbym GPowerowi szansę. Po 20 lub 30 minutach odkrywania go, prawdopodobnie okaże się, że jest on bardzo łatwy do opanowania - przynajmniej w przypadku procedur takich jak korelacja, niekoniecznie w przypadku skomplikowanego modelu regresji.
rolando2
Dzięki! Czy w GPower dostępny jest przyjazny dla użytkownika przewodnik?
Adhesh Josh
Wygląda na to, że dotyczy to wniosku o dofinansowanie. Są dokuczliwe, aby produkować i oceniać. W przypadku dobrze wykorzystywanych projektów eksperymentalnych (na przykład badań asocjacyjnych całego genomu) mogą istnieć dobrze udokumentowane specjalistyczne kalkulatory. W przeciwnym razie myślę, że odpowiedź G. Jaya Kernsa jest właściwą drogą z następującym dodatkiem: w tym czasie należy zasymulować zakres najważniejszych parametrów i przedstawić wykres.
Leo Schalkwyk

Odpowiedzi:

43

Obawiam się, że nie jest to odpowiedź, którą chcesz usłyszeć, ale i tak to powiem: postaraj się oprzeć pokusie kalkulatorów internetowych (i zaoszczędź swoje pieniądze przed zakupem kalkulatorów zastrzeżonych).

Oto niektóre z powodów, dla których: 1) kalkulatory online używają różnych notacji i często są słabo udokumentowane. To strata twojego czasu. 2) SPSS oferuje kalkulator mocy, ale nigdy go nawet nie wypróbowałem, ponieważ na mój dział było zbyt drogie! 3) Zwroty takie jak „średni efekt efektu” w najlepszym przypadku wprowadzają w błąd, aw najgorszym przypadku są po prostu błędne dla wszystkich oprócz najprostszych projektów badawczych. Istnieje zbyt wiele parametrów i zbyt wiele wzajemnych zależności, aby móc destylować wielkość efektu do pojedynczej liczby w [0,1]. Nawet jeśli umieścisz go w jednym numerze, nie ma gwarancji, że 0,5 Cohena odpowiada „średnie” w kontekście problemu.

Uwierz mi - na dłuższą metę lepiej jest ugryźć kulę i nauczyć się, jak korzystać z symulacji na swoją korzyść (i na korzyść osoby, z którą się konsultujesz). Usiądź z nimi i wykonaj następujące czynności:

1) Wybierz model odpowiedni w kontekście problemu (brzmi, jakbyś już pracował nad tą częścią).

2) Skonsultuj się z nimi, aby zdecydować, jakie powinny być parametry zerowe, zachowanie grupy kontrolnej, cokolwiek to oznacza w kontekście problemu.

3) Skonsultuj się z nimi, aby ustalić, jakie parametry powinny być, aby różnica była praktycznie znacząca . Jeśli istnieją ograniczenia wielkości próby, należy to również tutaj zidentyfikować.

4) Symuluj dane zgodnie z dwoma modelami w 2) i 3) i uruchom test. Możesz to zrobić z mnóstwem oprogramowania - wybierz swój ulubiony i idź do niego. Sprawdź, czy odrzuciłeś czy nie.

np^p^(1-p^)/n .

Jeśli przeprowadzisz analizę mocy w ten sposób, zobaczysz kilka rzeczy: A) było o wiele więcej parametrów, niż się spodziewałeś. Sprawi, że będziesz się zastanawiać, jak na świecie można złożyć je wszystkie w jedną liczbę, taką jak „średnia” - i zobaczysz, że nie jest to możliwe, a przynajmniej nie w prosty sposób. B) Twoja moc będzie dużo mniejsza niż wiele innych kalkulatorów reklamowych. C) możesz zwiększyć moc poprzez zwiększenie wielkości próbki, ale uważaj! Może się okazać, że tak jak ja, aby wykryć różnicę „praktycznie znaczącą”, potrzebujesz wielkości próbki, która jest zbyt duża.

Jeśli masz problem z którymkolwiek z powyższych kroków, możesz zebrać swoje myśli, dobrze sformułuj pytanie dla CrossValidated, a ludzie tutaj ci pomogą.

EDYCJA: Jeśli okaże się, że absolutnie musisz użyć kalkulatora online, najlepszym, jaki znalazłem, jest strona mocy i wielkości próbki Russa Lentha . Jest już od dłuższego czasu, ma stosunkowo kompletną dokumentację, nie zależy od rozmiarów efektów w puszkach i ma linki do innych dokumentów, które są istotne i ważne.

KOLEJNA EDYCJA: Przypadkowo, kiedy pojawiło się to pytanie, miałem właśnie rację, pisząc post na blogu, aby rozwinąć niektóre z tych pomysłów (w przeciwnym razie mógłbym nie odpowiedzieć tak szybko). Zresztą skończyłem to w zeszły weekend i można go znaleźć tutaj . Nie jest napisane z myślą o SPSS, ale założę się, że jeśli ktoś byłby sprytny, mógłby przetłumaczyć jego część na składnię SPSS.


źródło
8
+1 Dobra odpowiedź. Warto zwrócić uwagę na wady symulacji. (Alternatywą jest to, że krzywe mocy można obliczać matematycznie.) Symulacja staje się niewygodna, gdy trzeba manipulować wieloma parametrami (takimi jak wielkość efektu i wielkość próbki) lub gdy szukasz pewnej wartości progowej, takiej jak minimalna wielkość próbki. Nawet przybliżone dokładne wyrażenie mocy może być cenne dla ogólnego wskazania jej zachowania i dla identyfikacji początkowych rozwiązań, które można dopracować przy odrobinie symulacji.
whuber
2
@ whuber Dzięki i masz absolutną rację. Twój komentarz przypomina mi, że często występuje niepewność w parametrach zerowych / altowych (skąpe informacje, niewygodne badania pilotażowe itp.), Co dodaje kolejną warstwę złożoności do podejścia symulacyjnego. To kolejna zaleta podejścia matematycznego.
2
Zamiast ustalania wartości nieznanych parametrów warto je symulować, przypisując wcześniejszy rozkład tych parametrów, a następnie uzyskując „wcześniejszą moc” (nie jest to podejście bayesowskie, pomimo koncepcji wcześniejszego rozkładu, ponieważ symulujemy wynik testu dla częstych)
Stéphane Laurent,
6
Istnieją dwa problemy z symulacją: nauczenie się tego (ten jest rozpuszczalny) i wykonanie kroku 3. Z mojego doświadczenia wynika, że ​​żaden z moich klientów nie byłby skłonny zrobić 3). Wiele osób ma problem z określeniem DOWOLNEGO rozmiaru efektu. Poproszenie ich o podanie parametrów w (powiedzmy) równaniu regresji wielokrotnej byłoby… cóż, nie wiedzieliby, jak odpowiedzieć, nawet jeśli znają znaczenie, nie będą skłonni do podania.
Peter Flom - Przywróć Monikę
2
Stephane tak, masz rację i właśnie to miałem na myśli przez dodatkową warstwę, którą próbowałem się komunikować. @Peter Sigh! tak, ja też to spotkałem. Staram się mówić o środkach, standardowych błędach itp., A następnie opracowuję tak dużo matematyki, jak to możliwe. Część z nich stanowi barierę komunikacyjną, która czasami stanowi wyzwanie. Jednak część niechęci jest jeszcze trudniejsza. Kiedyś się poddawałem i sam próbowałem uzupełniać puste pola, ale rzadko się to udawało. Oznacza to, że odpowiedź jest w zasadzie strzałem w ciemność z zasłoniętymi oczami i stojącą do tyłu.