Testowanie hipotez sekwencyjnych w naukach podstawowych

16

Jestem farmakologiem i z mojego doświadczenia wynika, że ​​prawie wszystkie prace z podstawowych badań biomedycznych wykorzystują test t-Studenta (albo do wnioskowania, albo do spełnienia oczekiwań ...). Kilka lat temu zwróciłem uwagę, że test t-Studenta nie jest najskuteczniejszym testem, jaki można zastosować: testy sekwencyjne oferują znacznie większą moc dla dowolnej wielkości próbki lub znacznie mniejszą średnią wielkość próbki dla mocy równoważnej.

Procedury sekwencyjne o różnym stopniu złożoności są wykorzystywane w badaniach klinicznych, ale ja nigdy widziałem, aby były stosowane w podstawowej publikacji z badań biomedycznych. Zauważam, że nie ma ich również w podręcznikach statystyki na poziomie wprowadzającym, które są wszystkim, co większość podstawowych naukowców może zobaczyć.

Moje pytanie jest trzykrotne:

  1. Biorąc pod uwagę bardzo istotną przewagę wydajności testów sekwencyjnych, dlaczego nie są one szerzej stosowane?
  2. Czy istnieje wada związana z wykorzystywaniem metod sekwencyjnych, co oznaczałoby, że ich stosowanie przez statystyków nie powinno być zniechęcane?
  3. Czy studentów statystyki uczy się o procedurach testowania sekwencyjnego?
Michael Lew
źródło
3
Dla pewności, czy mówisz o ST, jak stwierdzono w badaniach klinicznych, np. En.wikipedia.org/wiki/Sequential_analysis ?
chl
Tak. Istnieje wiele wariantów sekwencyjnego testowania, w tym sekwencyjne testy t, ale żadnego nie stosuje się w badaniach podstawowych. Nie widzę żadnych przeszkód w ich użyciu.
Michael Lew
(+1) Natknąłem się na testy sekwencyjne i zadałem sobie te same pytania.
steffen

Odpowiedzi:

5

Nie znam dużo testów sekwencyjnych i ich zastosowania poza analizą okresową (Jennison i Turnbull, 2000) oraz komputerowymi testami adaptacyjnymi (van der Linden i Glas, 2010). Jednym wyjątkiem są niektóre badania fMRI, które wiążą się z dużymi kosztami i trudnościami z zapisaniem pacjentów. Zasadniczo w tym przypadku testy sekwencyjne mają przede wszystkim na celu wcześniejsze przerwanie eksperymentu. Nie dziwię się więc, że te bardzo dostosowane podejścia nie są nauczane w zwykłych klasach statystycznych.

Testy sekwencyjne nie są jednak pozbawione pułapek (błąd typu I i II należy określić z góry, należy uzasadnić wybór reguły zatrzymania i wielokrotnego spojrzenia na wyniki, wartości p nie są równomiernie rozłożone pod wartością zerową, jak w ustalonym przykładowy projekt itp.). W większości projektów pracujemy z wcześniej określonym ustawieniem eksperymentalnym lub przeprowadzono wstępne badanie mocy, w celu zoptymalizowania pewnego rodzaju kryterium opłacalności, w którym to przypadku mają zastosowanie standardowe procedury testowe.

Jednak poniższy artykuł Maika Dierkesa na temat ustalonego kontra otwartego projektu próbki jest bardzo interesujący: Twierdzenie o sekwencyjnych planach eksperymentów .

chl
źródło
Podstawowi badacze biomedyczni cały czas przeprowadzają tymczasowe analizy, po prostu ich nie deklarują, bo nawet nie wiedzą, że to ma znaczenie! Przeprowadziłem ankietę wśród badaczy na kongresie krajowym i stwierdziłem, że ponad 50% nie wiedziało, że kontrola poziomów błędów z testu t Studenta zależy od ustalonej z góry ustalonej wielkości próby. Dowody na to można zobaczyć w czasami nieregularnie zmieniających się wielkościach próbek.
Michael Lew,
Niektóre wady wynikające ze złożoności projektów sekwencyjnych wynikają konkretnie z projektu analiz, a nie z ich realizacji. Być może moglibyśmy mieć zestaw gotowych projektów dla małych prób podstawowych eksperymentów.
Michael Lew
@ Michael O „fałszywych” analizach okresowych (patrząc na wartości p, gdy badanie jest wciąż w fazie ewolucji): wygląda na to, że jest to niewłaściwe wykorzystanie statystyk, nie więcej.
chl
@Chi Na jednym poziomie tak, niezgłoszone i nieskorygowane analizy okresowe są niewłaściwe (ale robi się to w niewiedzy, ignorancja, która moim zdaniem wskazuje na niedociągnięcia w metodach nauczania statystyki dla podstawowych badaczy biomedycznych ...). Jeśli jednak rozważymy to na poziomie meta, możliwe jest znalezienie częściowych uzasadnień. Wiele eksperymentów obejmuje tak małe próbki, że podwyższony poziom błędu fałszywie dodatniego może być rozsądnym kompromisem dla uzyskania większej mocy. Konwencja wyklucza deklarowany poziom alfa wyższy niż 0,05.
Michael Lew
Zauważam w tym kontekście, że podstawowi badacze biomedycy nie działają wyłącznie w podejściu Neymana-Pearsona, nawet jeśli stwierdzenia, że ​​„wyniki, w których P <0,05 uznano za znaczące” mogą sugerować inaczej. Jeśli pozostaniemy w granicach testu istotności Fishera, w którym względy inne niż osiągnięta wartość P mogą być uwzględnione w decyzjach dotyczących postępowania z wynikami testu, być może analizy okresowe mogą nie być takie złe. Jest jednak pewne, że zaprojektowany test sekwencyjny byłby lepszy od testu nieoznaczonego.
Michael Lew