Przedział ufności wokół dwumianowego oszacowania 0 lub 1

36

Jaka jest najlepsza technika do obliczenia przedziału ufności eksperymentu dwumianowego, jeśli szacujesz, że (lub podobnie ), a wielkość próby jest względnie mała, na przykład ?p = 1 n = 25p=0p=1n=25

Kasper
źródło
Jak bliskie zeru jest p ? Czy często wynosi zero, czy jest rzędu 0,001, 0,01, czy ...? A ile masz danych? p^
jbowman
Zwykle mamy ponad 800 prób. Zwykle oczekiwać od 0 do 0,1 dla pp^
AI2.0
Użyj połączonego interwału Clopper – Pearson. Ogólna zasada: spróbuj najpierw interwał Cloppera-Pearsona. Jeśli komputer nie może uzyskać odpowiedzi, spróbuj zastosować metodę przybliżenia, na przykład normalne zbliżenie. Zgodnie z obecną prędkością komputera, nie sądzę, że potrzebujemy przybliżenia w większości sytuacji.
user158565,
Aby uzyskać tylko górną granicę przedziału ufności za pomocą ( poziom ufności 1 , użyjemy tylko B (1 α ; x + 1, n − x), gdzie x jest liczbą sukcesów (lub niepowodzeń), n oznacza wielkość próbki. W pythonie po prostu używamy . Jeśli jest to PRAWDA, czy możemy dojść do wniosku, że jesteśmy 1– α pewni, że górna granica jest ograniczona wartością, którą obliczamy ?ααscipy.stats.beta.ppf(1−$\alpha$;x+1,n−x) αscipy.stats.beta.ppf(1−$\alpha$;x+1,n−x)
AI2.0
1
Przy 800 próbach normalne przybliżenie normalne będzie działać dość dobrze do około (moje symulacje wykazały rzeczywiste pokrycie 94,5% przedziału ufności 95%.) Przy 1000 próbach ip = 0,01 rzeczywiste pokrycie wynosiło około 92,7% (wszystkie oparte na 100 000 replikacji). Jest to więc problem tylko dla bardzo niskiego p , biorąc pod uwagę liczbę prób. p=0,015p=0,01p
jbowman

Odpowiedzi:

53

Nie używaj normalnego przybliżenia

Wiele napisano o tym problemie. Ogólnie zaleca się, aby nigdy nie stosować normalnego przybliżenia (tj. Przedziału ufności asymptotycznego / Walda), ponieważ ma on straszne właściwości pokrycia. Kod R ilustrujący to:

library(binom)
p = seq(0,1,.001)
coverage = binom.coverage(p, 25, method="asymptotic")$coverage
plot(p, coverage, type="l")
binom.confint(0,25)
abline(h=.95, col="red")

Prawdopodobieństwa pokrycia dla asymptotycznych przedziałów ufności dla proporcji dwumianowej.

W przypadku małych prawdopodobieństw sukcesu możesz poprosić o 95% przedział ufności, ale tak naprawdę, powiedzmy, 10% przedział ufności!

Rekomendacje

Czego więc powinniśmy użyć? Uważam, że obecne zalecenia są wymienione w artykule Interval Estimation for a Binomial Proportion autorstwa Browna, Cai i DasGupta in Statistics Science 2001, vol. 16, nr 2, strony 101–133. Autorzy zbadali kilka metod obliczania przedziałów ufności i doszli do następującego wniosku.

[W] Zalecamy przedział Wilsona lub równy wcześniej Jeffreys dla przedziału dla małych n, a przedział sugerowany w Agresti i Coull dla większych n .

Interwał Wilsona jest czasem nazywany także interwałem oceny , ponieważ opiera się na odwróceniu testu oceny.

Obliczanie przedziałów

Aby obliczyć te przedziały ufności, możesz użyć tego kalkulatora online lub binom.confint()funkcji w binompakiecie w R. Na przykład, dla 0 sukcesów w 25 próbach, kod R byłby:

> binom.confint(0, 25, method=c("wilson", "bayes", "agresti-coull"),
  type="central")
         method x  n  mean  lower upper
1 agresti-coull 0 25 0.000 -0.024 0.158
2         bayes 0 25 0.019  0.000 0.073
3        wilson 0 25 0.000  0.000 0.133

Oto bayesinterwał Jeffreysa. (Argument type="central"jest potrzebny, aby uzyskać przedział równości .)

Pamiętaj, że powinieneś zdecydować, której z trzech metod chcesz użyć przed obliczeniem interwału. Patrząc na wszystkie trzy i wybierając najkrótsze, naturalnie otrzymasz zbyt małe prawdopodobieństwo pokrycia.

Szybka, przybliżona odpowiedź

Na koniec, jeśli zaobserwujesz dokładnie zero sukcesów w swoich n próbach i po prostu chcesz bardzo szybkiego przybliżonego przedziału ufności, możesz zastosować zasadę trzech . Po prostu podziel liczbę 3 przez n . W powyższym przykładzie n wynosi 25, więc górna granica wynosi 3/25 = 0,12 (dolna granica to oczywiście 0).

Karl Ove Hufthammer
źródło
Bardzo dziękuję za odpowiedź. Wyobraź sobie ten przykład z życia: architekt musi przetestować w wieżowcu, czy wszystkie panele izolacyjne w sufitach są prawidłowo zainstalowane. Otwiera losowo 25 paneli sufitowych na losowym wyborze podłóg i znajduje przede wszystkim izolację paneli sufitowych. Możemy zatem stwierdzić, że prawdziwe prawdopodobieństwo posiadania panelu izolacyjnego jest z 95% pewnością między CI [0,867 do 1] w oparciu o przedział punktacji Wilsona?
Kasper
2
Nie powiedziałbym, że można to zakończyć z „95% pewnością” (Google dla „poprawnej interpretacji przedziałów ufności”). Opiera się to również na założeniu niezależnych prób z jednakowymi prawdopodobieństwami sukcesu, co może nie być realistyczne. Być może ostatnie zainstalowane panele miały większe ryzyko nieprawidłowej instalacji (osoba, która je instalowała, była zmęczona / znudzona). A może te pierwsze były, ponieważ osoba ta była wtedy mniej doświadczona. W każdym razie, jeśli architekt został poproszony o sprawdzenie, czy wszystkie panele są poprawnie zainstalowane, powinien wykonać swoją pracę, a nie tylko przetestować próbkę!
Karl Ove Hufthammer
5
bayesużywa wcześniejszego munduru (zamiast Jeffreya), gdy oba parametry kształtu wynoszą 1. Wysłałem e-maila z opiekunem pakietu binom z ciekawości o (nie) zaletach wcześniejszego munduru Jeffreya i powiedział mi, że nowa wersja będzie używać mundur przed jako domyślny. Nie zastanawiaj się więc, czy wyniki będą się nieco różnić w przyszłości.
cbeleites wspiera Monikę
3
To doskonała odpowiedź. Przekazuje wszystkie kluczowe informacje, które można przeczytać w artykułach na ten temat, ale bardzo zwięźle i wyraźnie. Gdybym mógł dwukrotnie głosować, zrobiłbym to.
SigmaX
6
binconfMetoda Hmiscrównież oblicza tych przedziałów. Domyślnie jest to metoda Wilsona.
SigmaX
0

p±zα/2)p(1-p)/nπ0π0π0

|p-π0|p(1-p)/n=0
(1+z02)/n)π02)+(-2)p-z02)/n)π0+p2)=0

Jay Schyler Raadt
źródło
1
π0
π0pn
To jest Agresti.
Nick Cox,
@NickCox to inna praca
Jay Schyler Raadt,
1
Alan Agresti opublikował różne teksty. Chyba nawiązujesz do An Introduction to Categorical Data Analysis (2. edycja 2007; 3. edycja zaplanowana na publikację w październiku 2018 r. I może nosić datę 2019 r.) Od Johna Wileya.
Nick Cox,