Czy metaanaliza badań, które nie są „statystycznie znaczące”, może prowadzić do „znaczącego” wniosku?

Metaanaliza obejmuje szereg badań, z których wszystkie wykazały wartość P większą niż 0,05. Czy w ogólnej metaanalizie można zgłosić wartość P mniejszą niż 0,05? W jakich okolicznościach?

(Jestem prawie pewien, że odpowiedź brzmi tak, ale chciałbym uzyskać odniesienie lub wyjaśnienie).

statistical-significance meta-analysis combining-p-values Harvey Motulsky
źródło

Niewiele wiem o metaanalizie, ale miałem wrażenie, że nie obejmuje ona żadnych testów hipotez, tylko oszacowanie efektu populacji, w którym to przypadku nie ma pojęcia o znaczeniu, o którym można mówić.

Kodiolog

Cóż, metaanaliza - na koniec dnia - jest tylko średnią ważoną. I z pewnością możesz ustawić test hipotez dla tego ważonego środka. Patrz na przykład Borenstein, Michael i in. „Podstawowe wprowadzenie do modeli z efektami stałymi i losowymi do metaanalizy.” Research Synthesis Methods 1.2 (2010): 97-111.

boscovich

Inne odpowiedzi są również dobre, ale prosty przypadek: dwa badania są znaczące przy p = 0,9, ale nie p = 0,95. Prawdopodobieństwo, że dwa niezależne badania wykażą p> = 0,9, wynosi tylko 0,01, więc twoja metaanaliza może wykazać istotność przy p = 0,99

karta kredytowa

Limit: żaden pomiar nie może dostarczyć wystarczających dowodów na poparcie / przeciw (nietrywialnej) hipotezie, aby mieć małą wartość , ale wystarczająco duży zbiór pomiarów może.

p

$p$

Eric Towers

Wartości p nie wskazują ani „statystycznie znaczącego”, ani nieznaczącego efektu. Co możemy zrozumieć z ważnego wniosku? Czy to meta analityczny wniosek?

Subhash C. Davar,

Odpowiedzi:

Teoretycznie tak ...

Wyniki poszczególnych badań mogą być nieznaczne, ale rozpatrywane łącznie, wyniki mogą być znaczące.

Teoretycznie można kontynuować przez traktowanie wyników studiów jak każdy inny zmiennej losowej. $y_i$ $i$

Niech będzie jakąś zmienną losową (np. Oszacowanie z badania ). Następnie, jeśli są niezależne, a , możesz konsekwentnie oszacować średnią za pomocą: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

Dodając więcej założeń, niech będzie wariantem oszacowania . Następnie możesz skutecznie oszacować z odwrotnym ważeniem wariancji: $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

W każdym z tych przypadków może być statystycznie istotny na pewnym poziomie ufności, nawet jeśli poszczególne szacunki nie są. $\hat{\mu}$

ALE mogą być duże problemy, problemy, o których należy wiedzieć ...

Jeśli metaanaliza może nie być zbieżna z (tzn. Średnia z metaanalizy jest niespójnym estymatorem). $E[y_i] \neq \mu$ $\mu$

Na przykład, jeśli istnieje tendencja do publikowania negatywnych wyników, ta prosta metaanaliza może być strasznie niespójna i stronnicza! To byłoby jak oszacowanie prawdopodobieństwa, że rzut monetą wyląduje na głowach, obserwując tylko te rzuty, w których nie wylądował!
$y_i$ i nie mogą być niezależne. Na przykład, jeśli w dwóch badaniach i były oparte na tych samych danych, a następnie leczenia i jako niezależny w metaanalizie może znacznie lekceważyć standardowe błędy i zawyżać istotności statystycznej. Twoje szacunki byłyby nadal spójne, ale błędy standardowe muszą w uzasadniony sposób uwzględniać korelację krzyżową w badaniach. $y_j$ $i$ $j$ $y_i$ $y_j$
Łączenie (1) i (2) może być szczególnie złe.

Na przykład metaanaliza uśredniających ankiet wydaje się być dokładniejsza niż jakakolwiek ankieta indywidualna. Ale uśrednianie ankiet jest nadal podatne na skorelowany błąd. W poprzednich wyborach pojawiło się coś, że młodzi pracownicy przeprowadzający ankietę wyjazdową mogą raczej przesłuchiwać innych młodych ludzi niż starszych. Jeśli wszystkie ankiety wyjściowe popełniają ten sam błąd, oznacza to, że masz złe oszacowanie, które możesz uznać za dobre.

Niewątpliwie ludzie bardziej zaznajomieni z metaanalizą mogą wymyślić lepsze przykłady, bardziej szczegółowe zagadnienia, bardziej wyrafinowane techniki szacowania itp., Ale dotyczy to jednej z najbardziej podstawowych teorii i niektórych większych problemów. Jeśli różne badania powodują niezależny, losowy błąd, metaanaliza może być niewiarygodnie potężna. Jeśli błąd jest systematyczny we wszystkich badaniach (np. Wszyscy nie doceniają starszych wyborców itp.), Wówczas średnia z badań również będzie wyłączona. Jeśli nie docenisz skorelowanych badań lub skorelowanych błędów, skutecznie przeszacujesz łączną wielkość próby i nie docenisz standardowych błędów.

Istnieją również wszelkiego rodzaju praktyczne kwestie dotyczące spójnych definicji itp.

Matthew Gunn
źródło

Krytykuję metaanalizę polegającą na ignorowaniu zależności między wielkościami efektów (tj. Wiele rozmiarów efektów było opartych na tych samych uczestnikach, ale traktowanych jako niezależne). Autorzy nie mówią biggie, i tak jesteśmy zainteresowani moderatorami. Mówię o tym, o czym tu mówiłeś: traktowanie ich jako „niezależnych w metaanalizie może znacznie nie docenić standardowych błędów i zawyżać istotność statystyczną”. Czy istnieje badanie potwierdzające / symulacyjne pokazujące, dlaczego tak jest? Mam wiele referencji, które mówią, że skorelowane błędy oznaczają niedocenianie SE ... ale nie wiem dlaczego?

Mark White

@MarkWhite Podstawowy pomysł nie jest bardziej skomplikowany niż nazwa . Jeśli dla wszystkich mamy i dla to a twoim standardowym błędem jest . Z drugiej strony, jeśli warunki kowariancji są dodatnie i duże, błąd standardowy będzie większy.

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

Matthew Gunn

@MarkWhite Nie jestem ekspertem od metaanalizy i szczerze mówiąc, nie wiem, co jest świetnym źródłem tego, jak należy robić nowoczesne metaanalizy. Pod względem koncepcyjnym replikacja analizy tych samych danych jest z pewnością przydatna (podobnie jak intensywne badanie niektórych przedmiotów), ale nie jest to to samo, co odtworzenie wyników na temat nowych, niezależnych przedmiotów.

Matthew Gunn

Ach, więc słowami: Całkowita wariancja wielkości efektu pochodzi od (a) jego wariancji i (b) kowariancji z innymi wielkościami efektu. Jeśli kowariancja wynosi 0, wówczas standardowe oszacowanie błędu jest w porządku; ale jeśli pasuje do innych efektów, musimy uwzględnić tę wariancję, a zignorowanie jej oznacza, że nie doceniamy wariancji. To tak, jakby wariancja składa się z dwóch części A i B, a ignorowanie zależności zakłada, że część B ma wartość 0, gdy nie jest?

Mark White

Wygląda to również na dobre źródło (patrz zwłaszcza Ramka 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

Mark White

Tak. Załóżmy, że masz wartości p z niezależnych badań. $N$ $N$

Test Fishera

(EDYCJA - w odpowiedzi na przydatny komentarz @ mdewey poniżej istotne jest rozróżnienie różnych meta-testów. Poniżej wyjaśniam przypadek innego meta-testu wspomnianego przez mdewey)

Klasyczny meta test Fishera (patrz Fisher (1932), „Metody statystyczne dla pracowników naukowych” ) statystyka ma rozkład zerowy jako o jednolitej rv .

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

Niech oznacza kwantyl rozkładu zerowego. $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

Załóżmy, że wszystkie wartości p są równe , gdzie ewentualnie . Następnie i gdy Na przykład, dla i , poszczególne wartości muszą być mniejsze niż $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Oczywiście testami meta-statystycznymi jest „tylko” null „agregacja”, że wszystkie poszczególne null są prawdziwe, co należy odrzucić, gdy tylko jeden z null będzie fałszywy. $N$

EDYTOWAĆ:

Oto wykres „dopuszczalnych” wartości p względem , co potwierdza, że rośnie w , chociaż wydaje się, że się na poziomie . $N$ $c$ $N$ $c\approx0.36$

Znaleziono, że górna granica dla kwantyli o rozkład tutaj , sugerując, że , aby jest ograniczony od góry przez jako . Ponieważ , ta granica wydaje się dość ostra. $\chi^2$

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Inverse Normal test (Stouffer i in., 1949)

Statystyka testu jest podana przez z standardową wartością normalną funkcja kwantylowa. Test odrzuca duże wartości ujemne, to , jeśli przy . Dlatego dla , . Gdy , a zatem jako . Jeśli , będzie przyjmować wartości w obszarze odbioru dla każdego . Stąd wspólna wartość p mniejsza niż 0,5 jest wystarczająca do odrzucenia meta testu jako

Z = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} Φ^{- 1} (p_{i})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$ .

Mówiąc dokładniej, jeśli , co ma tendencję do od dołu jako . $Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

Christoph Hanck
źródło

+1 i wow! nie spodziewał się, że w ogóle będzie górna granica, nie mówiąc już o .

1 / e

$1/e$

ameba mówi Przywróć Monikę

Dzięki :-). Nie spodziewałem się też tego, zanim zobaczyłem spisek ...

Christoph Hanck

Co ciekawe, metoda Fishera jest jedyną powszechnie stosowaną metodą, która ma tę właściwość. Dla większości innych to, co nazywacie F, zwiększa się z N, jeśli $ c> 0,5), a zmniejsza w przeciwnym razie. Dotyczy to metody Stouffera i Edgingtona, a także metod opartych na logitach i średniej p. Różne metody, które są szczególnymi przypadkami metody Wilkinsona (minimum p, maksimum p itp.), Mają znowu różne właściwości.

mdewey,

@mdewey, to naprawdę interesujące, właśnie wybrałem test Fishera wyłącznie dlatego, że przyszedł mi do głowy jako pierwszy. To powiedziawszy, „tylko jeden”, masz na myśli konkretną granicę ? Wasze komentarze, które staram się przeliterować w mojej edycji, sugerują mi, że metoda Stouffera ma również górną granicę, która okazuje się 0,5?

1 / e

$1/e$

Christoph Hanck

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

p_{[1]} \leq p_{[2)]} \dots p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

Metodę LHC Tippett opisano w książce Metody statystyki. 1931 (1st ed) i metoda Wilkinsona jest tutaj w artykule „Rozważenie statystyczne w badaniach psychologicznych”

mdewey
źródło

Dzięki. Należy jednak pamiętać, że większość metod metaanalizy łączy wielkości efektów (uwzględniając wszelkie różnice w wielkości próby) i nie łączy wartości P.

Harvey Motulsky,

@HarveyMotulsky zgodził się, że łączenie wartości p jest ostatecznością, ale OP oznaczył swoje pytanie tagiem łączącym wartości p, więc odpowiedziałem w tym duchu

mdewey,

Myślę, że twoja odpowiedź jest poprawna.

Subhash C. Davar