Jak konserwatywna jest poprawka wielokrotnego testowania Benjaminiego-Hochberga w stosunku do całkowitej liczby porównań? Na przykład, jeśli mam listę 18 000 funkcji dla dwóch grup i wykonuję test Wilcoxona, aby uzyskać wartość p. Dostosowuję tę wartość p za pomocą Benjamini-Hochberg i prawie nic nie jest tak znaczące.
Wiem, że korekcja Bonferroniego może być dość zachowawcza, ponieważ liczba porównań rośnie, czy Benjamini-Hochberg ma tę samą właściwość?
multiple-comparisons
p-value
użytkownik4673
źródło
źródło
Odpowiedzi:
Po pierwsze, musisz zrozumieć, że te dwie wielokrotne procedury testowe nie kontrolują tego samego. Korzystając z twojego przykładu, mamy dwie grupy z 18 000 zaobserwowanych zmiennych, a ty wykonujesz 18 000 testów w celu zidentyfikowania niektórych zmiennych, które różnią się między grupami.
Korekta Bonferroniego kontroluje współczynnik błędu Familywise , czyli prawdopodobieństwo, zakładając, że wszystkie 18 000 zmiennych ma identyczny rozkład w dwóch grupach, że fałszywie twierdzicie, że „tutaj mam pewne znaczące różnice”. Zwykle decydujesz, że jeśli prawdopodobieństwo wynosi <5%, twoje roszczenie jest wiarygodne.
Korekta Benjaminiego-Hochberga kontroluje współczynnik odkrycia False , czyli oczekiwany odsetek wyników fałszywie dodatnich wśród zmiennych, dla których twierdzisz, że istnieje różnica. Na przykład, jeśli przy FDR kontrolowanym do 5% 20 testów jest pozytywnych, „średnio” tylko 1 z tych testów będzie fałszywie dodatni.
Teraz, gdy liczba porównań rośnie ... cóż, zależy to od liczby prawdziwych marginalnych hipotez zerowych. Ale w zasadzie przy obu procedurach, jeśli masz kilka, powiedzmy 5 lub 10, prawdziwie powiązanych zmiennych, masz większe szanse na ich wykrycie wśród 100 zmiennych niż wśród 1 000 000 zmiennych. To powinno być wystarczająco intuicyjne. Nie da się tego uniknąć.
źródło