W tym papierze:
Czające się zmienne: niektóre przykłady Brian L. Joiner The American Statistician Vol. 35, nr 4, listopad 1981 227-233
Brian Joiner twierdzi, że „randomizacja nie jest panaceum”. Jest to sprzeczne z powszechnymi stwierdzeniami, takimi jak poniższe:
Dobrze zaprojektowany eksperyment obejmuje funkcje projektowe, które pozwalają badaczom wyeliminować zewnętrzne zmienne jako wyjaśnienie obserwowanego związku między zmiennymi niezależnymi a zmienną zależną. Te zewnętrzne zmienne nazywane są zmiennymi czającymi się.
Cytat został zaczerpnięty z tego pytania i nie ma źródła, ale z mojego doświadczenia jest reprezentatywny dla dominującej postawy: Przykłady czającej się zmiennej i wpływowej obserwacji
Jednym z podanych przykładów jest to, że podczas testowania bezpieczeństwa (szczególnie rakotwórczości) czerwonego barwnika spożywczego nr 40 na gryzoniach w latach siedemdziesiątych stwierdzono, że wpływ położenia klatki zakłóca badanie. Teraz przeczytałem wiele artykułów z czasopism poświęconych rakotwórczości u gryzoni i nigdy nie widziałem, aby ktokolwiek donosił o kontrolowaniu tego efektu.
Dalszą dyskusję na temat tych badań można znaleźć tutaj: Studium przypadku statystyki w procesie regulacyjnym: eksperymenty FD&C Red nr 40.
Nie mogłem znaleźć wersji nieopłacanej, ale tutaj jest fragment:
Na styczniowym spotkaniu przedstawiliśmy wstępną analizę (14), która ujawniła silną korelację między częstością zgonów w klatce a RE (guz siateczkowo-śródbłonkowy), która wahała się od 17% (dolny rząd) do 32% (górny rząd) (tabela 2). Nie mogliśmy wyjaśnić tego silnego związku seksem, grupą dawkowania, kolumną lub pozycją w stojaku. Kolejna analiza (18) wykazała również, że pozycja klatki (przód vs. tył) może być skorelowana ze śmiertelnością bez RE oraz że pozycja jest skorelowana z czasem do śmierci bez RE.
Jestem szczególnie zainteresowany tym, dlaczego wydaje się, że istnieje taki problem z replikacją w literaturze medycznej, ale przykłady ze wszystkich dziedzin byłyby mile widziane. Zauważ, że interesują mnie przykłady z randomizowanych kontrolowanych eksperymentów, a nie badania obserwacyjne.
Odpowiedzi:
Kilka przykładów z badań klinicznych może obejmować zmienne powstałe po randomizacji - randomizacja wcale cię nie chroni. Kilka u szczytu mojej głowy, które zostały podniesione jako możliwe lub odnotowane:
Randomizacja chroni przed żadnym z tych efektów, ponieważ powstają one po randomizacji.
źródło
Oto jeden przykład, który znalazłem dla danych z mikromacierzy. Stwierdzono, że zmierzona ekspresja jest silnie skorelowana z pozycją na „chipach”. Jest to przypadek, w którym zrandomizowanie pozycji próbek może prowadzić do zwiększonej szansy na błąd w etykietowaniu, więc osoby wykonujące prace techniczne mogą zdecydować się nie losować, jeśli nie uważają tego za istotne.
Znaczenie randomizacji w eksperymentalnych projektach mikromacierzy z platformami Illumina
Ricardo A. Verdugo, Christian F. Deschepper i Gary A. Churchill. The Jackson Laboratory, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Kanada.
źródło
Mam przykład, który może nieco różnić się od tego, co pierwotnie zamierzałeś, zadając to pytanie. Miniony rok lub dwa doprowadziły do ciągłej dyskusji w psychologii na temat braku powtarzalności efektów z randomizowanych eksperymentów. Wersje tej debaty pojawiają się od wielu lat, ale debata stała się bardziej ostra od czasu publikacji dokumentu pokazującego, że wiele praktyk, które są standardowe w psychologii w formułowaniu hipotez, gromadzeniu danych, analizie danych i raportowaniu wyników pozwalają badaczom znaleźć wyniki potwierdzające nawet arbitralnie wybrane hipotezy (w oryginalnej pracy naukowcy wykorzystali te praktyki, aby pokazać, że słuchanie utworu „Kiedy mam sześćdziesiąt cztery lata” przez Beatlesów czyniło ludzi młodszymi).
Przyczyną problemu są oczywiście wszechobecne struktury motywacyjne w psychologii (i innych naukach) w celu uzyskania nowych, pozytywnych, „możliwych do opublikowania” wyników. Zachęty te zachęcają naukowców do stosowania praktyk, które, choć nie są tak „błędne” jak wytwarzanie danych, prowadzą jednak do wzrostu liczby fałszywie pozytywnych wyników. Praktyki te obejmują:
I tak dalej.
Twierdziłbym, że „zmienną czającą się” w tych przypadkach jest struktura motywacyjna, która nagradza badaczy za uzyskiwanie pozytywnych, „możliwych do opublikowania” wyników. W rzeczywistości osiągnięto już kilka głośnych wyników w psychologii (wiele z nich to moja specjalizacja, psychologia społeczna), których nie udało się powielić. Te nieudane replikacje, jak twierdzą wielu, podają w wątpliwość całe pola psychologiczne.
Oczywiście problem struktur motywacyjnych, które zachęcają do fałszywych trafień, nie dotyczy wyłącznie psychologii; jest to problem endemiczny dla całej nauki, a tym samym dla wszystkich badań z randomizacją.
Bibliografia
Simmons, JP, Nelson, LD i Simonsohn, U. (2011). Fałszywie pozytywna psychologia: Nieujawniona elastyczność w gromadzeniu i analizie danych pozwala przedstawić wszystko jako tak znaczące. Psychological Science , 17, 1359-1366.
Nosek, BA, Spies, JR i Motyl, M. (2012). Utopia naukowa: II. Restrukturyzacja zachęt i praktyk w celu promowania prawdy ponad publikowalność. Perspectives on Psychological Science , 7, 615-631.
Yong, E. (2012). Zła kopia. Nature , 485, 298–300.
Abbott, A. (2013). Sporne skutki są świeżym ciosem dla psychologii społecznej. Nature , 497,16.
źródło