Porównywanie 0/10 do 0/20

Czy omawiając wskaźniki realizacji zadań, można pokazać, że 0 na 20 prób jest „gorszych” niż 0 na 10 prób?

Załóżmy, że znamy prawdopodobieństwo sukcesu w próbie. W tym przypadku obliczamy prawdopodobieństwo 0 na 10 i 0 na 20 przypadków.

Jednak w tym przypadku idziemy na odwrót. Nie znamy prawdopodobieństwa, mamy dane i staramy się oszacować prawdopodobieństwo.

Im więcej przypadków mamy, tym bardziej możemy być pewni wyników. Jeśli przerzucę monetę i będzie to głowa, nie będziecie pewni, że jest ona podwójna. Jeśli rzucę go 1000 razy, a będą to wszystkie głowy, jest mało prawdopodobne, aby był wyważony.

Istnieją metody, które zostały zaprojektowane w celu uwzględnienia liczby szlaków przy podawaniu oszacowań. Jednym z nich jest addytywne wygładzanie, które @abukaj komentuje powyżej. W wygładzaniu dodatkowym uwzględniamy dodatkowe pseudopróbki. W naszym przypadku zamiast szlaku, który widzieliśmy, dodajemy dwa kolejne - jeden udany, a drugi nieudany.

• W pierwszym przypadku wygładzonym prawdopodobieństwem będzie = ~ 8,3%$\frac{1+0}{10 +1 +1}$$\frac{1}{12}$
• W drugim przypadku otrzymamy = ~ 4,5%$\frac{1+0}{20 +1 +1}$$\frac{1}{22}$

Należy pamiętać, że wygładzanie addytywne jest tylko jedną metodą szacowania. Otrzymasz różne wyniki za pomocą różnych metod. Nawet przy samym wygładzaniu addytywnym uzyskałbyś różne wyniki, gdybyś dodał 4 pseudo próbki.

Inną metodą jest użycie przedziału ufności, jak sugeruje @mdewey. Im więcej próbek mamy, tym krótszy będzie przedział ufności. Rozmiar przedziału ufności jest proporcjonalny do pierwiastka kwadratowego z próbek - . Dlatego podwojenie liczby próbek spowoduje skrócenie przedziału ufności .$\frac{1}{\sqrt{n}}$$\sqrt{2}$

Średnia w obu przypadkach wynosi 0. Przyjmujemy poziom ufności 90% (z = 1,645)

• W pierwszym przypadku otrzymamy 0 + ~ 52%$\frac{1.645}{\sqrt{10}}$
• W drugim przypadku otrzymamy 0 + ~ 36%$\frac{1.645}{\sqrt{20}}$

W przypadku brakujących danych istnieje niepewność. Twoje założenia i dane zewnętrzne, które wykorzystasz, zmienią to, co otrzymasz.

Rozszerzając ideę wywoływania przedziałów ufności, istnieje koncepcja dokładnego przedziału dwumianowego.

Rozkład dwumianowy to łączna liczba sukcesów w niezależnych próbach, które kończą się 0 (niepowodzenie) lub 1 (sukces). Prawdopodobieństwo uzyskania 1 (sukcesu) tradycyjnie oznacza się , a jego dopełnieniem jest . Zatem standardowy wynik prawdopodobieństwa jest taki, że prawdopodobieństwo dokładnie sukcesów w próbach wynosiq = 1 - p k $p$$q=1-p$$k$$n$

$$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$$

Pojęcie przedziału ufności polega na powiązaniu zestawu możliwych wartości parametrów modelu (tutaj prawdopodobieństwa sukcesu ), abyśmy mogli wydawać twierdzenia probabilistyczne (cóż, częstokroć ) o tym, czy prawdziwa wartość parametru mieści się w tym przedziale (mianowicie , że jeśli powtórzymy eksperyment probabilistyczny polegający na wykonaniu 10 lub 20 prób i skonstruujemy przedział ufności w określony sposób, zauważymy, że prawdziwa wartość parametru mieści się w przedziale 95% czasu).$p$

W tym przypadku możemy rozwiązać dla w tej formule: p n , 0 = ( 1 - p ) $p$

$$p_{n,0}=(1-p)^n$$

Gdybyśmy chcieli 95% jednostronnego przedziału, ustawilibyśmy aby rozwiązać prawdopodobieństwo prawdopodobieństwa, że ​​zaobserwowana liczba zerowa wynosi co najwyżej 5%. Dla odpowiedź wynosi (tzn. Skrajnie, jeśli prawdopodobieństwo sukcesu w każdym badaniu wynosi 13,9%, wówczas prawdopodobieństwo zaobserwowania zerowych sukcesów wynosi 5%). Dla odpowiedzią jest . Tak więc z próbki dowiedzieliśmy się więcej niż z próbki , w tym sensie, że możemy `` wykluczyć '' zakres niż próbka nadal pozostawia jako prawdopodobne.$p_{n,0}=5\%$$n=20$$[0\%,13.9\%]$$n=10$$[0\%,25.9\%]$$n=20$$n=10$$[13.9\%,25.9\%]$$n=10$

Podejście bayesowskie

• Niech dla będzie ciągiem losowych zmiennych IID Bernoulli z parametrem .$X_i$$i=1,\ldots n$$p$
• Przedstawmy naszą niepewność parametru , zakładając, że podąża on za rozkładem Beta z hiperparametrami i .$p$ $\alpha$$\beta$

Funkcja prawdopodobieństwa to Bernoulliego, a rozkład Beta jest sprzężony przed rozkładem Bernoulliego, stąd tylny podąża za rozkładem Beta. Ponadto, tylny jest parametryzowany przez:

$$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$$

W konsekwencji:

$$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$$

Zatem jeśli zobaczysz 10 awarii, twoje oczekiwanie na to , a jeśli zobaczysz 20 awarii, twoje oczekiwanie na to . Im więcej awarii widzisz, tym niższe jest Twoje oczekiwanie na .$p$$\frac{\alpha}{\alpha + \beta + 10}$$p$$\frac{\alpha}{\alpha + \beta + 20}$$p$

Czy to rozsądny argument? Zależy to od tego, co sądzisz o statystykach bayesowskich, czy chcesz modelować niepewność w odniesieniu do niektórych parametrów stosując mechanikę prawdopodobieństwa. I zależy to od tego, jak rozsądny jest twój wybór przeora.$p$