Czy poprawka Benjaminiego-Hochberga jest bardziej konserwatywna w miarę wzrostu liczby porównań?

19

Jak konserwatywna jest poprawka wielokrotnego testowania Benjaminiego-Hochberga w stosunku do całkowitej liczby porównań? Na przykład, jeśli mam listę 18 000 funkcji dla dwóch grup i wykonuję test Wilcoxona, aby uzyskać wartość p. Dostosowuję tę wartość p za pomocą Benjamini-Hochberg i prawie nic nie jest tak znaczące.

Wiem, że korekcja Bonferroniego może być dość zachowawcza, ponieważ liczba porównań rośnie, czy Benjamini-Hochberg ma tę samą właściwość?

użytkownik4673
źródło
1
Czy naprawdę masz na myśli konserwatystę w tym sensie, że faktyczny wskaźnik typu I jest znacznie niższy niż nominalny? Czy masz na myśli „niską moc”?
shabbychef
Powiedział „konserwatywny”, a nie „zbyt konserwatywny”. Jeśli metoda jest konserwatywna, ma małą moc ...
Elvis

Odpowiedzi:

31

Po pierwsze, musisz zrozumieć, że te dwie wielokrotne procedury testowe nie kontrolują tego samego. Korzystając z twojego przykładu, mamy dwie grupy z 18 000 zaobserwowanych zmiennych, a ty wykonujesz 18 000 testów w celu zidentyfikowania niektórych zmiennych, które różnią się między grupami.

  • Korekta Bonferroniego kontroluje współczynnik błędu Familywise , czyli prawdopodobieństwo, zakładając, że wszystkie 18 000 zmiennych ma identyczny rozkład w dwóch grupach, że fałszywie twierdzicie, że „tutaj mam pewne znaczące różnice”. Zwykle decydujesz, że jeśli prawdopodobieństwo wynosi <5%, twoje roszczenie jest wiarygodne.

  • Korekta Benjaminiego-Hochberga kontroluje współczynnik odkrycia False , czyli oczekiwany odsetek wyników fałszywie dodatnich wśród zmiennych, dla których twierdzisz, że istnieje różnica. Na przykład, jeśli przy FDR kontrolowanym do 5% 20 testów jest pozytywnych, „średnio” tylko 1 z tych testów będzie fałszywie dodatni.

Teraz, gdy liczba porównań rośnie ... cóż, zależy to od liczby prawdziwych marginalnych hipotez zerowych. Ale w zasadzie przy obu procedurach, jeśli masz kilka, powiedzmy 5 lub 10, prawdziwie powiązanych zmiennych, masz większe szanse na ich wykrycie wśród 100 zmiennych niż wśród 1 000 000 zmiennych. To powinno być wystarczająco intuicyjne. Nie da się tego uniknąć.

Elvis
źródło
2
To było miłe wytłumaczenie. Dzięki za miłą odpowiedź.
user4673
2
Dobra