Jak procedury FDR szacują współczynnik fałszywych odkryć bez modelu stawek podstawowych?

9

Czy ktoś może wyjaśnić, w jaki sposób procedury FDR są w stanie oszacować FDR bez modelu / założenia stopy bazowej prawdziwych wyników dodatnich?

false-discovery-rate użytkownik4733
źródło

5

Myślę, że to naprawdę dobre pytanie; zbyt wiele osób stosuje procedurę Benjamini-Hochberg (w skrócie BH; prawdopodobnie najpopularniejsza procedura kontroli FDR) jako czarną skrzynkę. Rzeczywiście istnieje założenie, które opiera się na statystykach i jest dobrze ukryte w definicji wartości p!

Dla dobrze zdefiniowanej wartości utrzymuje, że jest równomiernie rozłożone ( ) pod hipotezą zerową. Czasami może się zdarzyć, że , tzn. Że jest stochastycznie mniejszy niż jednolity, ale to tylko czyni procedury bardziej konserwatywnymi (i dlatego nadal obowiązującymi). Tak więc, obliczając swoje wartości p, używając testu t lub dowolnego innego testu, podajesz informacje o rozkładzie pod hipotezą zerową. $P$ $P$ $P\sim U[0,1]$ $\Pr[P\leq t] \leq t$ $P$

Zauważ jednak, że mówiłem o hipotezie zerowej; więc to, co wspomniałeś o znajomości stawki podstawowej wyników prawdziwie dodatnich, nie jest potrzebne, potrzebujesz jedynie wiedzy na temat stawki podstawowej wyników fałszywie dodatnich! Dlaczego to?

Niech oznacza liczbę wszystkich odrzuconych (dodatnich) hipotez, a fałszywie dodatnie, a następnie: $R$ $V$

FDR = E [\frac{V}{max (R, 1)}] \approx \frac{E [V]}{E [R]}

$\text{FDR} = \mathbb E\left[\frac{V}{\max(R,1)}\right] \approx \frac{\mathbb E[V]}{\mathbb E[R]}$

Aby oszacować FDR, potrzebujesz sposobu oszacowania , . Przyjrzymy się teraz regułom decyzyjnym, które odrzucają wszystkie wartości p . Aby to wyjaśnić w notacji, napiszę również dla odpowiednich wielkości / zmiennych losowych takiej procedury. $\mathbb E[R]$ $\mathbb E[V]$ $\leq t$ $FDR(t),R(t),V(t)$

Ponieważ to tylko oczekiwanie na całkowitą liczbę odrzuceń, możesz bezstronnie oszacować je na podstawie liczby zaobserwowanych odrzuceń, więc , tj. po prostu zliczając, ile z twoich wartości p jest . $\mathbb E[R(t)]$ $\mathbb E[R(t)] \approx R(t)$ $\leq t$

A co z ? Załóżmy, że twoich hipotez całkowitych jest hipotezami , a następnie przez jednorodność (lub niejednolitość) wartości p poniżej wartości zerowej otrzymujesz: $\mathbb E[V]$ $m_0$ $m$

E [V (t)] = \sum_{i null} Pr [P_{i} \leq t] \leq m_{0} t

$\mathbb E[V(t)] = \sum_{i \text{ null}} \Pr[P_i \leq t] \leq m_0 t$

Ale nadal nie wiemy , ale wiemy, że , więc konserwatywna górna granica to po prostu . Dlatego, ponieważ potrzebujemy tylko górnej granicy liczby fałszywych trafień, wystarczy, że znamy ich rozkład! I właśnie to robi procedura BH. $m_0$ $m_0 \leq m$ $\mathbb E[V(t)] \leq m t$

Tak więc, chociaż komentarz Aaronga Zenga, że „procedura BH jest sposobem na kontrolowanie FDR na danym poziomie q. Nie chodzi o oszacowanie FDR”, nie jest fałszywy, jest również bardzo mylący! Procedura BH faktycznie robi oszacowanie FDR dla każdej danej wartości progowej . A następnie wybiera największy próg, tak że szacowany FDR jest poniżej . Rzeczywiście „skorygowana wartość p” hipotezy jest zasadniczo tylko oszacowaniem FDR na progu (do izotonizacji). Myślę, że standardowy algorytm BH trochę ukrywa ten fakt, ale łatwo jest wykazać równoważność tych dwóch podejść (zwaną także „twierdzeniem równoważności” w literaturze z wielu testów). $t$ $\alpha$ $i$ $t=p_i$

Na koniec, istnieją metody takie jak procedura która szacuje nawet na podstawie danych; może to nieznacznie zwiększyć moc. Zasadniczo masz rację, można również modelować rozkład według alternatywnej (twojej prawdziwej dodatniej stopy bazowej), aby uzyskać mocniejsze procedury; ale jak dotąd badania wielokrotnych testów koncentrowały się głównie na utrzymaniu kontroli nad błędem typu I, a nie na maksymalizacji mocy. Jedną trudnością byłoby również to, że w wielu przypadkach każda z twoich prawdziwych alternatyw będzie miała inny rozkład alternatywny (np. Inną moc dla różnych hipotez), podczas gdy pod wartością zerową wszystkie wartości p mają ten sam rozkład. To sprawia, że modelowanie prawdziwej stopy dodatniej jest jeszcze trudniejsze. $m_0$

powietrze
źródło

3

+1 Przypuszczalnie „BH” odnosi się do Benjamini-Hochberg . (Zawsze dobrze jest przeliterować akronimy, aby ludzie nie zrozumieli źle.) Witamy na naszej stronie!

whuber

1

Dzięki! Również tak, masz rację, edytowałem mój post, aby to odzwierciedlić.

powietrze

4

Jak sugeruje @air, procedura Benjamini-Hochberg (BH) gwarantuje kontrolę FDR. Nie ma na celu oszacowania tego. Wymaga to zatem jedynie słabego założenia zależności między statystykami testowymi. [1,2]

Metody mające na celu oszacowanie FDR [np. 3,4,5] wymagają pewnych założeń dotyczących procesu generatywnego w celu jego oszacowania. Zazwyczaj zakładają, że statystyki testów są niezależne. Zakładają także coś o zerowym rozkładzie statystyk testowych. Odstępstwa od tego zerowego rozkładu wraz z założeniem niezależności można zatem przypisać efektom, a FDR można oszacować.

Zwróć uwagę, że pomysły te pojawiają się w częściowo nadzorowanej literaturze dotyczącej wykrywania nowości. [6].

[1] Benjamini, Y. i Y. Hochberg. „Kontrolowanie wskaźnika fałszywych odkryć: praktyczne i skuteczne podejście do wielokrotnego testowania”. DZIENNO-KRÓLEWSKIE STATYSTYCZNE SPOŁECZEŃSTWO SERII B 57 (1995): 289–289.

[2] Benjamini, Y. i D. Yekutieli. „Kontrola częstotliwości fałszywych odkryć w testach wielokrotnych w zależności od zależności”. ROCZNIKI STATYSTYKI 29, nr. 4 (2001): 1165–88.

[3] Storey, JD „Bezpośrednie podejście do wskaźnika fałszywych odkryć”. Journal Of The Royal Statistics Society Series B 64, no. 3 (2002): 479–98. doi: 10.1111 / 1467-9868.00346.

[4] Efron, B. „Mikromacierze, empiryczne Bayesa i model dwóch grup”. Nauki statystyczne 23, nr. 1 (2008): 1–22.

[5] Jin, Jiashun i T. Tony Cai. „Szacowanie wartości zerowej i proporcji efektów innych niż zerowe w wielu porównaniach na dużą skalę”. Journal of the American Statistics Association 102, nr. 478 (1 czerwca 2007 r.): 495–506. doi: 10.1198 / 016214507000000167.

[6] Claesen, Marc, Jesse Davis, Frank De Smet i Bart De Moor. „Ocena klasyfikatorów binarnych przy użyciu wyłącznie danych pozytywnych i nieznakowanych”. arXiv: 1504.06837 [cs, Stat], 26 kwietnia 2015 r . http://arxiv.org/abs/1504.06837 .

JohnRos
źródło

1

+1 choć moim głównym punktem z tym ustępie, że procedura BH faktycznie robi zaproponować sposób szacowania FDR (choć trochę zachowawczo) i faktycznie robi szacują go, aby dojść do ostatecznego progu odrzucenia. Definicja algorytmu jako procedura podwyższająca w odniesieniu do [1] przesłania to, ale na koniec dnia oszacowanie FDR jest dokładnie tym, co robi procedura BH !! (Efron często mówi o tym, ale patrz także sekcja 4. „Połączenie między dwoma podejściami” w pracy [3].)

powietrze

2

Masz rację, że po [3, równanie 2.5] można zobaczyć procedurę BH jako zachowawczą ocenę FDR przy .

p_{0} = 1

$p_0=1$

JohnRos

0

Gdy prawdziwy model bazowy jest nieznany, nie możemy obliczyć FDR, ale możemy oszacować wartość FDR za pomocą testu permutacji . Zasadniczo procedura testu permutacji polega na wielokrotnym testowaniu hipotezy poprzez zmianę wektora zmiennej wynikowej wraz z jego permutacjami. Można to również zrobić na podstawie permutacji próbek, ale nie tak powszechnej jak poprzednia.

W niniejszym artykule dokonano przeglądu standardowej procedury permutacji dla oszacowania FDR, a także zaproponowano nowy estymator FDR. Powinien być w stanie odpowiedzieć na twoje pytanie.

Aaron Zeng
źródło

3

Najpopularniejsza procedura, taka jak BH, nie wykorzystuje testu permutacji. Czego używa? Ponadto testy permutacji zwykle zapewniają rozkład poniżej wartości zerowej, czy szacunek FDR nie wymaga modeli zarówno wartości zerowej, jak i alternatywnej, a także podstawowej proporcji każdego z nich?

user4733,

Po pierwsze, procedura BH jest sposobem kontrolowania FDR na danym poziomie . Nie chodzi o oszacowanie FDR. Po drugie, testy permutacji są przeprowadzane pod zerą wszystkich hipotez. Nie jestem pewien, co masz na myśli przez „wymagają modeli zerowych i alternatywnych, a także leżącej u ich podstaw względnej proporcji”. Ale kiedy tworzysz swoje hipotezy, masz już swoje zerowe i alternatywne pary. Czy to ma sens?

q

$q$

Aaron Zeng,

Jak procedury FDR szacują współczynnik fałszywych odkryć bez modelu stawek podstawowych?

Odpowiedzi: