Czy obliczanie „rzeczywistego prawdopodobieństwa pokrycia” jest tym samym, co obliczanie „wiarygodnego przedziału”?

Czytałem podręcznik statystyk na poziomie podstawowym. W rozdziale dotyczącym szacowania maksymalnego prawdopodobieństwa odsetka sukcesu w danych o rozkładzie dwumianowym podał wzór na obliczenie przedziału ufności, a następnie nonszalancko wspomniano

Rozważmy jego rzeczywiste prawdopodobieństwo pokrycia, to znaczy prawdopodobieństwo, że metoda wygeneruje przedział, który uchwyci prawdziwą wartość parametru. Może to być nieco mniej niż wartość nominalna.

Dalej pojawia się propozycja skonstruowania alternatywnego „przedziału ufności”, który prawdopodobnie zawiera rzeczywiste prawdopodobieństwo pokrycia.

Po raz pierwszy spotkałem się z ideą nominalnego i faktycznego prawdopodobieństwa pokrycia. Przechodząc tutaj przez stare pytania, wydaje mi się, że zrozumiałem: istnieją dwa różne pojęcia, które nazywamy prawdopodobieństwem, z których pierwszym jest prawdopodobieństwo, że zdarzenie, które jeszcze się nie wydarzyło, da określony rezultat, a drugie jest prawdopodobne, że przypuszczenie agenta obserwującego o wyniku zdarzenia, które już się wydarzyło, jest prawdziwe. Wydawało się również, że przedziały ufności mierzą tylko pierwszy rodzaj prawdopodobieństwa, a coś zwane „wiarygodnymi przedziałami” mierzy drugi rodzaj prawdopodobieństwa. Podsumowując, założyłem, że przedziały ufności są tymi, które obliczają „nominalne prawdopodobieństwo pokrycia”, a wiarygodne przedziały obejmują „rzeczywiste prawdopodobieństwo pokrycia”.

Ale może źle zinterpretowałem książkę (nie jest całkowicie jasne, czy różne metody obliczeniowe, które oferuje, dotyczą przedziału ufności i przedziału wiarygodności, czy też dwóch różnych rodzajów przedziału ufności), czy też innych źródeł, do których kiedyś dochodziłem moje obecne zrozumienie. Zwłaszcza komentarz, który dostałem na inne pytanie,

Przedziały ufności dla częstych, wiarygodne dla Bayesian

zmusiło mnie do wątpienia w moje wnioski, ponieważ książka nie opisywała metody bayesowskiej w tym rozdziale.

Proszę więc wyjaśnić, czy moje rozumowanie jest prawidłowe lub czy popełniłem błąd logiczny w drodze.

Zasadniczo rzeczywiste prawdopodobieństwo pokrycia nigdy nie będzie równe prawdopodobieństwu nominalnemu podczas pracy z rozkładem dyskretnym.

Przedział ufności jest zdefiniowany jako funkcja danych. Jeśli pracujesz z rozkładem dwumianowym, możliwe jest tylko wiele możliwych wyników ($n+1$a dokładniej), więc istnieje tylko wiele możliwych przedziałów ufności. Ponieważ parametr$p$ jest ciągły, dość łatwo zauważyć, że prawdopodobieństwo pokrycia (które jest funkcją $p$) nie może być lepsza niż około 95% (lub cokolwiek innego).

Ogólnie prawdą jest, że metody oparte na CLT będą miały prawdopodobieństwa pokrycia poniżej wartości nominalnej, ale inne metody mogą być bardziej zachowawcze.

Nie ma to nic wspólnego z wiarygodnymi przedziałami bayesowskimi a częstymi przedziałami ufności. 95% (powiedzmy) przedział ufności jest zdefiniowany jako zapewniający co najmniej 95% pokrycia, niezależnie od prawdziwej wartości parametru$\pi$. Kiedy więc nominalny zasięg wynosi 95%, faktyczny zasięg może wynosić 97%, kiedy$\pi=\pi_1$, 96,5% kiedy $\pi=\pi_2$, ale bez wartości $\pi$czy to mniej niż 95%. Problem (tj. Rozbieżność między zasięgiem nominalnym a rzeczywistym) powstaje przy dyskretnych rozkładach, takich jak dwumianowy.

Jako przykład rozważ obserwację $x$ sukcesy z $n$ próby dwumianowe o nieznanym prawdopodobieństwie sukcesu $\pi$:

$$\begin{array}{c,c,c} x & \pi_\mathrm{U} & \Pr(X= x | \pi=0.7) & I(\pi_\mathrm{U}\leq 0.7)\\ 0 & 0.3930378 & 0.000729 & 0\\ 1 & 0.5818034 & 0.010206 & 0\\ 2 & 0.7286616 & 0.059535 & 1\\ 3 & 0.8468389 & 0.185220 & 1\\ 4 & 0.9371501 & 0.324135 & 1\\ 5 & 0.9914876 & 0.302526 & 1\\ 6 & 1.0000000 & 0.117649 & 1\\ \end{array}$$ Pierwsza kolumna pokazuje możliwe zaobserwowane wartości $x$. Drugi pokazuje dokładne ^† $95\%$Górnym ^‡ zaufanie związany$\pi_\mathrm{U} =\pi: [\Pr(X>x | \pi)=0.95]$którą obliczysz w każdym przypadku. Załóżmy teraz$\pi=0.7$: trzecia kolumna pokazuje prawdopodobieństwo każdej zaobserwowanej wartości $x$pod tym przypuszczeniem; czwarty pokazuje, dla których przypadków obliczony przedział ufności obejmuje prawdziwą wartość parametru, oznaczając je znakiem a$1$. Jeśli zsumujesz prawdopodobieństwa dla przypadków, w których przedział ufności obejmuje prawdziwą wartość, otrzymasz rzeczywistą ochronę,$0.989065$. Dla różnych prawdziwych wartości$\pi$, rzeczywisty zasięg będzie inny:

Pokrycie nominalne osiąga się tylko wtedy, gdy prawdziwe wartości parametrów pokrywają się z możliwymi do uzyskania górnymi granicami.

[Właśnie przeczytałem twoje pytanie i zauważyłem, że autor twierdzi, że rzeczywiste może być mniejsze niż nominalne prawdopodobieństwo pokrycia. Sądzę więc, że mówią o przybliżonej metodzie obliczania przedziału ufności, chociaż to, co powiedziałem powyżej, nadal obowiązuje. Wykres może sugerować zgłaszanie średniego poziomu ufności na poziomie około$98\%$ ale - uśrednianie wartości nieznanego parametru?]

† Dokładnie w tym sensie, że rzeczywiste pokrycie nigdy nie jest mniejsze niż pokrycie nominalne dla dowolnej wartości $\pi$i równe dla niektórych wartości $\pi$- @ Rozum Unwisdom, nie @ Stephane.

‡ Częstsze są oczywiście interwały z górną i dolną granicą; ale nieco bardziej skomplikowane do wyjaśnienia, i jest tylko jeden dokładny przedział do rozważenia z górną granicą. (Patrz Blaker (2000), „Krzywe ufności i poprawione dokładne przedziały ufności dla dyskretnych rozkładów”, Canadian Journal of Statistics , 28 , 4 i odniesienia).

Myślę, że różnica polega na zastosowaniu przybliżeń dokonanych przy obliczaniu przedziałów ufności. Na przykład, jeśli użyjemy dość standardowego CI z

$$\text{estimate}\pm 1.96 \times \text {estimated standard error}$$

Możemy to nazwać „95% przedziałem ufności”. Zazwyczaj jednak dokonuje się tutaj kilku przybliżeń. Jeśli nie dokonamy przybliżeń, możemy obliczyć faktyczny zasięg. Typowa sytuacja nie jest w stanie oszacować błędu standardowego. Wówczas przedziały są zbyt wąskie, aby uchwycić prawdziwą wartość z 95% prawdopodobieństwem. Mogą uchwycić prawdziwą wartość tylko z prawdopodobieństwem 85%. Prawdopodobieństwo „rzeczywistego pokrycia” można obliczyć za pomocą pewnego rodzaju symulacji Monte Carlo (np. Wygenerować$1000$ przykładowe zestawy danych przy użyciu wybranej wartości rzeczywistej, a następnie oblicz 95% CI dla każdego i znajdź to $850$ faktycznie zawiera prawdziwą wartość).