Ostatnio znalazłem w artykule Klammera i in. stwierdzenie, że wartości p powinny być równomiernie rozłożone. Wierzę autorom, ale nie mogę zrozumieć, dlaczego tak jest.
Klammer, AA, Park, CY i Stafford Noble, W. (2009) Kalibracja statystyczna funkcji SEQUEST XCorr . Journal of Proteome Research . 8 (4): 2106–2113.
Odpowiedzi:
Wyjaśnić trochę. Wartość p rozkłada się równomiernie, gdy hipoteza zerowa jest prawdziwa i spełnione są wszystkie inne założenia. Powodem tego jest tak naprawdę definicja alfa jako prawdopodobieństwa błędu typu I. Chcemy, aby prawdopodobieństwo odrzucenia prawdziwej hipotezy zerowej było alfa, odrzucamy, gdy zaobserwowany , jedynym sposobem, w jaki dzieje się to dla dowolnej wartości alfa, jest to, gdy wartość p pochodzi z jednolitego dystrybucja. Cały sens stosowania prawidłowego rozkładu (normalny, t, f, chisq itp.) Polega na przekształceniu ze statystyki testowej w jednolitą wartość p. Jeśli hipoteza zerowa jest fałszywa, wówczas rozkład wartości p będzie (mam nadzieję) większy w stosunku do 0.p-value<α
Funkcje
Pvalue.norm.sim
iPvalue.binom.sim
w pakiecie TeachingDemos dla R symulują kilka zestawów danych, obliczają wartości p i wykreślają je, aby zademonstrować ten pomysł.Zobacz także:
po więcej szczegółów.
Edytować:
Ponieważ ludzie wciąż czytają tę odpowiedź i komentują, pomyślałem, że odniosę się do komentarza @ whuber.
Prawdą jest, że przy zastosowaniu złożonej hipotezy zerowej, takiej jak , wartości p będą rozkładane równomiernie tylko wtedy, gdy 2 średnie są dokładnie równe i nie będą jednolite, jeśli jest dowolną wartością, która jest mniejsza niż . Można to łatwo zauważyć za pomocą funkcji i ustawienia jej na wykonanie jednostronnego testu oraz symulacji za pomocą symulacji i hipotetycznych środków różnych (ale w kierunku, aby wartość null była prawdziwa).μ 1 μ 2μ1≤μ2 μ1 μ2
Pvalue.norm.sim
Jeśli chodzi o teorię statystyczną, nie ma to znaczenia. Zastanów się, czy twierdziłem, że jestem wyższy niż każdy członek twojej rodziny, jednym ze sposobów sprawdzenia tego twierdzenia byłoby porównanie mojego wzrostu z wzrostem każdego członka twojej rodziny pojedynczo. Inną opcją byłoby znalezienie członka rodziny, który jest najwyższy, i porównanie ich wzrostu z moim. Jeśli jestem wyższy od tej jednej osoby, to jestem również wyższy od reszty i moje twierdzenie jest prawdziwe, jeśli nie jestem wyższy od tej jednej osoby, moje twierdzenie jest fałszywe. Testowanie złożonego null może być postrzegane jako podobny proces, zamiast testowania wszystkich możliwych kombinacji, w których możemy przetestować tylko część równości, ponieważ jeśli możemy odrzucić, że na korzyśćμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2 αμ1≤μ2 μ1=μ2 μ1>μ2 wtedy wiemy, że możemy również odrzucić wszystkie możliwości . Jeśli spojrzymy na rozkład wartości p dla przypadków, w których to rozkład nie będzie idealnie jednolity, ale będzie miał więcej wartości bliższych 1 niż 0, co oznacza, że prawdopodobieństwo błędu typu I będzie mniejsze niż wybrana wartość czyni ją testem zachowawczym. Mundur staje się rozkładem granicznym, gdy zbliża się doμ1<μ2 μ1<μ2 α μ1 μ2 (ludzie, którzy są bardziej aktualni w kategoriach statystyki statystycznej, prawdopodobnie mogliby to stwierdzić lepiej, jeśli chodzi o supremum dystrybucyjne lub coś w tym rodzaju). Konstruując nasz test, zakładając równą część wartości zerowej, nawet gdy wartość zerowa jest złożona, projektujemy nasz test, aby prawdopodobieństwo wystąpienia błędu typu I było co najwyżej w każdych warunkach, w których wartość null jest prawdziwa.α
źródło
\leq
w TeX)!Zgodnie z hipotezą zerową, twoja statystyka testowa ma rozkład (np. Standardowa normalna). Pokazujemy, że wartość p ma rozkład prawdopodobieństwa innymi słowy, jest rozłożone równomiernie. Dzieje się tak, dopóki jest odwracalny, a niezbędnym warunkiem jest to, że nie jest dyskretną zmienną losową.T F(t) P=F(T)
Ten wynik jest ogólny: rozkład odwracalnego CDF zmiennej losowej jest równomierny dla .[0,1]
źródło
Niech oznacza zmienną losową z funkcją rozkładu skumulowanego dla wszystkich . Zakładając, że jest odwracalna, możemy wyprowadzić rozkład losowej wartości w następujący sposób:T F(t)≡Pr(T<t) t F P=F(T)
z którego możemy wnioskować, że rozkład jest równomierny na .P [0,1]
Ta odpowiedź jest podobna do odpowiedzi Charliego, ale unika konieczności definiowania .t=F−1(p)
źródło
Prosta symulacja rozkładu wartości p w przypadku regresji liniowej między dwiema zmiennymi niezależnymi:
źródło
Nie sądzę, że większość z tych odpowiedzi w ogóle odpowiada na pytanie. Są one ograniczone do przypadku, gdy istnieje prosta hipoteza zerowa i gdy statystyka testowa ma odwracalny CDF (jak w ciągłej zmiennej losowej, która ma ściśle rosnący CDF). Te przypadki są przypadkami, którymi większość ludzi się przejmuje testem Z i testem t, chociaż do testowania średniej dwumianowej (na przykład) nie ma takiego CDF. To, co podano powyżej, wydaje mi się słuszne w tych ograniczonych przypadkach.
Jeśli hipotezy zerowe są złożone, rzeczy są nieco bardziej skomplikowane. Najbardziej ogólny dowód tego faktu, jaki widziałem w złożonej sprawie przy użyciu pewnych założeń dotyczących regionów odrzucenia, znajduje się w „Testing Statisitical Hypotheses” Lehmanna i Romano, str. 63-64. Spróbuję odtworzyć poniższy argument ...
Testujemy hipotezy zerowej kontra alternatywnej hipotezy oparciu o statystykę testową, którą będziemy oznaczać jako zmiennej losowej . Zakłada się, że statystyki testowe pochodzą z pewnej klasy parametrycznej, tj. , gdzie jest elementem rodziny rozkładów prawdopodobieństwa , a to przestrzeń parametrów. Hipoteza i hipoteza alternatywna tworzą partycję w tymH0 H1 X X∼Pθ Pθ P≡{Pθ∣θ∈Θ} Θ H0:θ∈Θ0 H1:θ∈Θ1 Θ Θ=Θ0∪Θ1
gdzie
Θ0∩Θ1=∅.
Wynik testu może być oznaczony gdzie dla dowolnego zestawu definiujemy Tutaj jest naszym poziomem istotności, a oznacza region odrzucenia testu dla poziomu istotności .ϕα(X)=1Rα(X) S 1S(X)={1,0,X∈S,X∉S. α Rα α
Załóżmy, że regiony odrzucające spełniają jeśli . W tym przypadku zagnieżdżonych regionów odrzucania przydatne jest określenie nie tylko tego, czy hipoteza zerowa jest odrzucana na danym poziomie istotności , ale także określenie najmniejszego poziomu istotności, dla którego hipoteza zerowa zostałaby odrzucona. Ten poziom jest znany jako wartość p , ta liczba daje nam wyobrażenie o jak silne dane (przedstawione przez statystykę testową ) są sprzeczne z hipotezą zerową .Rα⊂Rα′ α<α′ α p^=p^(X)≡inf{α∣X∈Rα}, X H0
Załóżmy, że dla niektórych i że . Załóżmy dodatkowo, że regiony odrzucające zgodne z powyższą właściwością zagnieżdżania. Następnie następujące pozycje:X∼Pθ θ∈Θ H0:θ∈Θ0 Rα
Jeśli dla wszystkich , to dla ,supθ∈Θ0Pθ(X∈Rα)≤α 0<α<1 θ∈Θ0 Pθ(p^≤u)≤ufor all0≤u≤1.
Jeśli dla mamy dla wszystkich , to dla mamyθ∈Θ0 Pθ(X∈Rα)=α 0<α<1 θ∈Θ0 Pθ(p^≤u)=ufor all0≤u≤1.
Zauważ, że ta pierwsza właściwość mówi nam tylko, że współczynnik fałszywie dodatnich jest kontrolowany , odrzucając, gdy wartość p jest mniejsza niż , a druga właściwość mówi nam (przy dodatkowym założeniu), że wartości p są równomiernie rozmieszczone pod wartością zerową hipoteza.u u
Dowód jest następujący:
Niech i załóżmy dla wszystkich . Następnie z definicji mamy dla wszystkich . Z monotoniczności i założenia wynika, że dla wszystkich . Pozwalając , wynika z tego, że .θ∈Θ0 supθ∈Θ0Pθ(X∈Rα)≤α 0<α<1 p^ {p^≤u}⊂{X∈Rv} u<v Pθ(p^≤u)≤Pθ(X∈Rv)≤v u<v v↘u Pθ(p^≤u)≤u
Niech i załóżmy, że dla wszystkich . Następnie , a przez monotoniczność wynika, że . Biorąc pod uwagę (1), wynika z tego, że .θ∈Θ0 Pθ(X∈Rα)=α 0<α<1 {X∈Ru}⊂{p^(X)≤u} u=Pθ(X∈Ru)≤Pθ(p^≤u) Pθ(p^(X)≤u)=u
Zauważ, że założenie w (2) nie obowiązuje, gdy statystyka testowa jest dyskretna, nawet jeśli hipoteza zerowa jest prosta, a nie złożona. Weźmy na przykład z i . Tzn. Rzuć monetą dziesięć razy i sprawdź, czy jest sprawiedliwa w stosunku do stronniczości (zakodowana jako 1). Prawdopodobieństwo zobaczenia 10 głów w 10 uczciwych rzutach monetą wynosi (1/2) ^ 10 = 1/1024. Prawdopodobieństwo zobaczenia 9 lub 10 głów w 10 uczciwych rzutach monetą wynosi 11/1024. Dla każdego ściśle między 1/1024 a 11/1024 odrzuciłbyś null, jeśli , ale nie mamy tego dla tych wartości kiedyX∼Binom(10,θ) H0:θ=.5 H1:θ>0.5 α X=10 Pr(X∈Rα)=α α θ=0.5 . Zamiast tego dla takiego . Pr(X∈Rα)=1/1024 α
źródło
Jeśli wartości p są równomiernie rozłożone w ramach H0, oznacza to, że równie prawdopodobne jest zobaczenie wartości p 0,05 jako wartości p 0,80, ale nie jest to prawdą, ponieważ rzadziej obserwuje się wartość p- wartość 0,05 niż wartość p 0,80, ponieważ jest to dokładnie definicja rozkładu normalnego, z którego wzięta jest wartość p. Z definicji będzie więcej próbek mieszczących się w zakresie normalności niż poza nim. Dlatego bardziej prawdopodobne jest znalezienie większych wartości p niż mniejszych.
źródło