Dlaczego znajdowanie małych efektów w dużych badaniach wskazuje na stronniczość publikacji?

32

Kilka prac metodologicznych (np. Egger i in. 1997a, 1997b) omawia stronniczość publikacji ujawnioną w metaanalizach, wykorzystując wykresy lejkowe, takie jak ta poniżej. Wykres lejkowy beta-blokerów w zawale mięśnia sercowego

Artykuł z 1997b mówi dalej, że „jeśli obecne jest stronniczość publikacji, oczekuje się, że spośród opublikowanych badań największe z nich wykażą najmniejsze efekty”. Ale dlaczego tak jest? Wydaje mi się, że wszystko to udowodni to, co już wiemy: małe efekty można wykryć tylko przy dużych próbkach ; nie mówiąc nic o badaniach, które pozostały niepublikowane.

Cytowana praca twierdzi również, że asymetria, która jest wizualnie oceniana na wykresie lejkowym, „wskazuje, że doszło do selektywnej nieopublikowania mniejszych badań przynoszących mniejsze korzyści”. Ale znowu, ja nie rozumiem, jak wszelkie cechy badań, które zostały opublikowane można ewentualnie powiedzieć nam coś (pozwalają nam wnioskować) o dziełach, które nie publikowanych!

Literatura
Egger, M., Smith, GD, i Phillips, AN (1997). Metaanaliza: zasady i procedury . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., i Minder, C. (1997). Odchylenie w metaanalizie wykryte za pomocą prostego testu graficznego . BMJ , 315 (7109), 629-634.

z8080
źródło
Nie sądzę, żebyś miał to na odwrót. Być może odpowiedź na to pytanie może pomóc stats.stackexchange.com/questions/214017/…
mdewey
7
Aby małe badanie zostało w ogóle opublikowane, będzie musiało wykazać duży efekt, bez względu na to, jaki jest prawdziwy rozmiar efektu.
einar

Odpowiedzi:

23

Odpowiedzi tutaj są dobre, +1 dla wszystkich. Chciałem tylko pokazać, jak ten efekt może wyglądać w ekstremalnych przypadkach na wykresie lejkowym. Poniżej symuluję niewielki efekt jako N(.01,.1) i rysuję próbki o wielkości od 2 do 2000 obserwacji.

Szare punkty na wykresie nie byłyby publikowane w ścisłym reżimie p<.05 . Szara linia to regresja wielkości efektu w stosunku do wielkości próby, w tym badania „złej wartości p”, podczas gdy czerwona wyklucza te. Czarna linia pokazuje prawdziwy efekt.

Jak widać, w przypadku stronniczości publikacji istnieje silna tendencja do tego, aby małe badania przeceniały rozmiary efektów, a te większe zgłaszały rozmiary efektów bliższe prawdzie.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Utworzono 2019-02-20 przez pakiet reprezentx (v0.2.1)

einar
źródło
1
Doskonały punkt, naprawdę pomaga zrozumieć to intuicyjnie, dzięki!
z8080
2
+1 Ta grafika jest warta tysiąca słów i dobrze podsumowuje problem. Tego rodzaju stronniczość można nawet znaleźć, gdy rzeczywisty rozmiar efektu wynosi 0.
Underminer
29

Po pierwsze, musimy pomyśleć o tym, co to jest „stronniczość publikacji” i jak wpłynie to na to, co faktycznie trafia do literatury.

p<0.05|θ^|/SE(θ^)>1.96nSE(θ^)|θ^|

θ|θ^| θ^|θ| jest w rzeczywistości znacznie mniejszy niż to, co zwykle widzimy na podstawie mniejszych eksperymentów, które faktycznie wprowadzają go do publikacji.

|θ^| SE(θ^)p<0.05

Cliff AB
źródło
nSE(θ)|θ|SE(θ)=SD(θ)nSE(θ)SE
19

Przeczytaj to oświadczenie w inny sposób:

Jeśli nie ma stronniczości publikacji, wielkość efektu powinna być niezależna od wielkości badania.

To znaczy, jeśli studiujesz jedno zjawisko, wielkość efektu jest właściwością zjawiska, a nie próbką / badaniem.

Szacunki wielkości efektu mogą (i będą) różnić się w zależności od badania, ale jeśli systematycznie maleje wielkość efektu wraz ze wzrostem wielkości badania , sugeruje to tendencyjność. Chodzi o to, że związek ten sugeruje, że istnieją dodatkowe małe badania wykazujące niski rozmiar efektu, które nie zostały opublikowane, a jeśli zostałyby opublikowane, a zatem mogłyby zostać uwzględnione w metaanalizie, ogólne wrażenie byłoby takie, że rozmiar efektu jest mniejszy niż szacuje się na podstawie opublikowanego podzbioru badań.

Zróżnicowanie oszacowań wielkości efektu w różnych badaniach będzie zależeć od wielkości próby, ale powinieneś zobaczyć taką samą liczbę niedoszacowanych i przeszacowanych wartości przy małych rozmiarach próby, jeśli nie było uprzedzeń.

Bryan Krause
źródło
1
Ale czy naprawdę słuszne jest stwierdzenie, że „jeśli nie ma stronniczości publikacji, wielkość efektu powinna być niezależna od wielkości badania”? Jest to oczywiście prawdą, gdy odwołujesz się do prawdziwego efektu leżącego u podstaw, ale myślę, że odnoszą się one do efektu szacunkowego. Rozmiarze efekt, który jest zależny od wielkości badanej (sugeruje bias) wynosi liniowej zależności, w tym wykresie punktowym (wysoka korelacja). To jest coś, czego nie widział osobiście w żadnej działek kominowych, choć oczywiście wiele z tych działek kominowych nie oznacza, że stronniczość istniał.
z8080
2
@ z8080 Masz rację, tylko jeśli szacunki średniej i odchylenia standardowego są obiektywne, szacowana wielkość efektu będzie całkowicie niezależna od wielkości badania, jeśli nie będzie stronniczości publikacji. Ponieważ odchylenie standardowe próbki jest tendencyjne, w szacunkach wielkości efektu będzie pewne odchylenie, ale to odchylenie jest niewielkie w porównaniu z poziomem odchylenia we wszystkich badaniach, do których odnoszą się Egger i in. W mojej odpowiedzi traktuję to jako pomijalne, zakładając, że wielkość próby jest wystarczająco duża, aby oszacowanie SD było prawie bezstronne, i dlatego uważam ją za niezależną od wielkości badania.
Bryan Krause
2
@ z8080 rozbieżność szacunków wielkości efekt będzie zależał od wielkości próbki, ale powinien pojawić równą liczbę pod i nad szacunków w niskich wielkości prób.
Bryan Krause
2
„Szacunki wielkości efektu mogą (i będą) różnić się w zależności od badania, ale jeśli istnieje systematyczna zależność między wielkością efektu a wielkością badania”, sformułowanie to jest nieco niejasne co do różnicy między zależnością a wielkością efektu. Rozkład wielkości efektu będzie różny dla różnej wielkości próbki, a zatem nie będzie niezależny od wielkości próbki, niezależnie od tego, czy występuje odchylenie. Odchylenie jest systematycznym kierunkiem zależności.
Kumulacja
@Acccumulation Czy moja edycja naprawia brak przejrzystości, który widziałeś?
Bryan Krause