Zależność między rozkładami dwumianowymi i beta

27

Jestem bardziej programistą niż statystykiem, więc mam nadzieję, że to pytanie nie jest zbyt naiwne.

Zdarza się to w losowych wykonaniach programu do pobierania próbek. Jeśli wezmę N = 10 losowo wybranych próbek stanu programu, zobaczyłem, że funkcja Foo jest wykonywana na przykład na I = 3 z tych próbek. Interesuje mnie to, co mówi mi o faktycznym ułamku czasu F, który Foo wykonuje.

Rozumiem, że jestem dwumianowy ze średnim F * N. Wiem także, że biorąc pod uwagę I i N, F ma rozkład beta. W rzeczywistości zweryfikowałem programowo związek między tymi dwiema dystrybucjami, to znaczy

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

Problem polega na tym, że nie mam intuicyjnego wyczucia związku. Nie mogę „wyobrazić sobie”, dlaczego to działa.

EDYCJA: Wszystkie odpowiedzi były trudne, szczególnie @ whuber, które wciąż muszę omijać, ale uporządkowanie statystyk było bardzo pomocne. Niemniej jednak zdałem sobie sprawę, że powinienem zadać bardziej podstawowe pytanie: biorąc pod uwagę I i N, jaki jest rozkład dla F? Wszyscy zauważyli, że to Beta, którą znałem. W końcu doszedłem do wniosku z Wikipedii ( koniugat wcześniej ), że tak właśnie jest Beta(I+1, N-I+1). Po zbadaniu go za pomocą programu wydaje się być właściwą odpowiedzią. Chciałbym wiedzieć, czy się mylę. I nadal jestem zdezorientowany relacją między dwoma plikami cdf pokazanymi powyżej, dlaczego sumują się do 1, a nawet jeśli mają coś wspólnego z tym, co naprawdę chciałem wiedzieć.

binomial beta-binomial beta-distribution Mike Dunlavey
źródło

Jeśli „to, co naprawdę chciałeś wiedzieć” to „faktyczny ułamek czasu, w którym Foo jest wykonywany”, to pytasz o dwumianowy przedział ufności lub (bayesowski) dwumianowy wiarygodny przedział.

whuber

@whuber: Cóż, korzystałem z metody losowego wstrzymywania dostrajania wydajności przez ponad 3 dekady, a niektórzy inni też to odkryli. Powiedziałem ludziom, że jeśli jakiś warunek jest spełniony na 2 lub więcej próbkach w losowym czasie, wówczas usunięcie go zaoszczędziłoby sporo czasu. JAK dobry ułamek jest tym, o czym starałem się wyraźnie powiedzieć, zakładając, że nie znamy wcześniejszego bayesowskiego. Oto ogólny płomień: stackoverflow.com/questions/375913/… i stackoverflow.com/questions/1777556/alternatives-to-gprof/…

Mike Dunlavey

1

Dobry pomysł. Statystyczne założenie jest takie, że przerwa jest niezależna od stanu wykonania, co jest rozsądną hipotezą. Dwumianowy przedział ufności jest dobrym narzędziem do wykorzystania do reprezentowania niepewności. (Może to być również otwieracz do oczu: w twojej sytuacji 3/10 symetryczny dwustronny 95% CI dla prawdziwego prawdopodobieństwa wynosi [6,7%, 65,2%]. W sytuacji 2/10 odstęp wynosi [2,5 %, 55,6%]. Są to szerokie zakresy! Nawet przy 2/3 dolna granica jest wciąż mniejsza niż 10%. Lekcja polega na tym, że coś dość rzadkiego może zdarzyć się dwa razy.)

whuber

@whuber: Dzięki. Masz rację. Bardziej użyteczna jest oczekiwana wartość. Jeśli chodzi o priory, zwracam uwagę, że jeśli zobaczysz coś tylko raz, to niewiele ci to powie, chyba że zdasz sobie sprawę, że program jest w nieskończonej (lub wyjątkowo długiej) pętli.

Mike Dunlavey,

Myślę, że wszystkie odpowiedzi i komentarze z pewnością były pouczające i poprawne, ale nikt tak naprawdę nie poruszył interesującej równości, którą @MikeDunlavey napisał w swoim oryginalnym poście. Tę równość można znaleźć na stronie wikipedia Beta en.wikipedia.org/wiki/Beta_function#Incomplete_beta_function, ale nie podano opisu, dlaczego tak jest, po prostu podana jako własność.

bdeonovic

27

Analiza danych statystycznych rzędu z niezależnie czerpie z rozkładu równomiernego. Ponieważ statystyki zamówień mają rozkłady Beta , szansa, że nie przekracza daje całka Beta $x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$ $n+1$ $x_{[k]}$ $p$

Pr [x_{[k]} \leq p] = \frac{1}{B (k + 1, n - k + 1)} \int_{0}^{p} x^{k} (1 - x)^{n - k} d x .

$\Pr[x_{[k]} \le p] = \frac{1}{B(k+1, n-k+1)} \int_0^p{x^k(1-x)^{n-k}dx}.$

(Dlaczego tak jest? Oto nie rygorystyczna, ale zapadająca w pamięć demonstracja. Szansa, że leży między i jest szansą, że spośród jednolitych wartości, z nich leży między a , przynajmniej jedna z nich leży między i , a reszta leży między i Aby uporządkować w nieskończenie małym , musimy wziąć pod uwagę przypadek, w którym dokładnie jedna wartość (mianowicie ) leży pomiędzy i a zatem $x_{[k]}$ $p$ $p + dp$ $n+1$ $k$ $0$ $p$ $p$ $p + dp$ $p + dp$ $1$ $dp$ $x_{[k]}$ $p$ $p + dp$ $n - k$ wartości przekraczają . Ponieważ wszystkie wartości są niezależne i jednolite, prawdopodobieństwo to jest proporcjonalne do . Pierwsze zamówienie w jest równe , dokładnie całka rozkładu Beta. Termin można obliczyć bezpośrednio z tego argumentu jako współczynnik wielomianowy lub wyprowadzić pośrednio jako stała normalizująca całki). $p + dp$ $p^k (dp) (1 - p - dp)^{n-k}$ $dp$ $p^k(1-p)^{n-k}dp$ $\frac{1}{B(k+1, n-k+1)}$ ${n+1}\choose{k,1, n-k}$

Z definicji zdarzenie oznacza, że wartość nie przekracza . Odpowiednio, co najmniej wartości nie przekracza : to proste (i mam nadzieję oczywiste) stwierdzenie zapewnia intuicję, której szukasz. Prawdopodobieństwo wyrażenia równoważnego wynika z rozkładu dwumianowego, $x_{[k]} \le p$ $k+1^\text{st}$ $p$ $k+1$ $p$

Pr [at least k + 1 of the x_{i} \leq p] = \sum_{j = k + 1}^{n + 1} (\binom{n + 1}{j}) p^{j} (1 - p)^{n + 1 - j} .

$\Pr[\text{at least }k+1\text{ of the }x_i \le p] = \sum_{j=k+1}^{n+1}{{n+1}\choose{j}} p^j (1-p)^{n+1-j}.$

Podsumowując , całka Beta dzieli obliczenie zdarzenia na serię obliczeń: znalezienie co najmniej wartości w zakresie , którego prawdopodobieństwo normalnie obliczilibyśmy z dwumianowym cdf, dzieli się na wzajemnie wyłączne przypadki, w których dokładnie wartości jest w zakresie a 1 wartość mieści się w zakresie dla wszystkich możliwych , , a jest nieskończenie małą długością. Podsumowanie wszystkich takich „okien” - czyli całkowanie - musi dawać takie samo prawdopodobieństwo jak dwumianowy plik cdf. $k+1$ $[0, p]$ $k$ $[0, x]$ $[x, x+dx]$ $x$ $0 \le x \lt p$ $dx$ $[x, x+dx]$

alternatywny tekst

Whuber
źródło

Doceniam wysiłek. Będę musiał to naprawdę przestudiować, ponieważ to nie jest mój „język ojczysty”. Ponadto widzę wiele znaków dolara i formatowania. Czy jest coś, o czym nie wiem, co sprawia, że wygląda jak prawdziwa matematyka?

Mike Dunlavey,

Co się stało? Nagle pojawiła się matematyka i pisanie tutaj stało się bardzo wolne.

Mike Dunlavey,

@Mike Zobacz meta.stats.stackexchange.com/q/218/919 .

whuber

Zrewidowałem pytanie, jeśli masz ochotę rzucić okiem. Dzięki.

Mike Dunlavey,

1

Jest trochę późno, ale w końcu mam czas, aby usiąść i odtworzyć twój argument. Kluczem był „współczynnik wielomianowy”. Próbowałem to rozgryźć przy użyciu zwykłych starych współczynników dwumianowych i wszystko zaczynało się poprawiać. Jeszcze raz dziękuję za miłą odpowiedź.

Mike Dunlavey,

12

Spójrz na pdf Dwumianowy jako funkcję : i pdf Beta jako funkcja : Prawdopodobnie widać że przy odpowiednim (całkowitym) wyborze dla i są one takie same. O ile mogę stwierdzić, to wszystko, co jest związane z tą relacją: sposób, w jaki wchodzi w dwumianowy plik pdf, nazywa się rozkładem beta. $x$

f (x) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$f(x) = {n\choose{x}}p^{x}(1-p)^{n-x}$

p

$p$

g (p) = \frac{Γ (a + b)}{Γ (a) Γ (b)} p^{a - 1} (1 - p)^{b - 1}

$g(p)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}p^{a-1}(1-p)^{b-1}$

a

$a$

b

$b$

p

$p$

Aniko
źródło

Wiem, że wyglądają prawie tak samo, ale jeśli podstawię y dla nx, a jeśli wezmę Beta pdf i podstawię x dla a-1 iy dla b-1, otrzymam dodatkowy współczynnik (x + y + 1), lub n + 1. tj. (x + y + 1)! / x! / y! * p ^ x * q ^ y. To wydaje się wystarczające, aby mnie zrzucić.

Mike Dunlavey,

1

Być może ktoś zadzwoni z pełną odpowiedzią, ale w „intuicyjnym” wyjaśnieniu zawsze możemy ręcznie odrzucić stałe (jak ), które nie zależą od zmiennych będących przedmiotem zainteresowania ( i ), ale są wymagane dodaj / zintegruj pdf do 1. Zapraszam do zastąpienia znaków „równości” znakami „proporcjonalnymi do”.

n + 1

$n+1$

x

$x$

p

$p$

Aniko,

Słuszna uwaga. Myślę, że zbliżam się do porozumienia. Nadal staram się być w stanie powiedzieć, co x opowiada o dystrybucji p, i dlaczego te dwa cdfs sumować się do 1.

Mike Dunlavey

1

Odmiennie podchodzę do „intuicyjnych” wyjaśnień. W niektórych przypadkach nie przejmujemy się zbytnio stałymi, ale w tym przypadku sednem sprawy jest sprawdzenie, dlaczego pojawia się n + 1, a nie n. Jeśli tego nie rozumiesz, to twoja „intuicja” jest nieprawidłowa.

whuber

Zrewidowałem pytanie, jeśli masz ochotę rzucić okiem. Dzięki.

Mike Dunlavey,

5

Jak można zauważyć, rozkład beta opisuje rozkład prawdopodobieństwa próbny parametru , natomiast rozkład dwumianowy opisuje podział wyniku parametr . Przepisując pytanie, pytałeś o to, dlaczego Oznacza to, że prawdopodobieństwo, że obserwacja plus jeden jest większa niż oczekiwana obserwacja, jest takie samo jak prawdopodobieństwo, że obserwacja plus jeden jest większa niż oczekiwana obserwacja. $F$ $I$

P (F \leq \frac{i + 1}{n}) + P (I \leq f n - 1) = 1

$P(F \le \frac {i+1} n)+P(I \le fn-1)=1$

P (F n \leq i + 1) + P (I + 1 \leq f n) = 1

$P(Fn \le i+1)+P(I+1 \le fn)=1$

P (F n \leq i + 1) = P (f n < I + 1)

$P(Fn \le i+1)=P(fn<I+1)$

Przyznaję, że może to nie pomóc w intuicyjnym sformułowaniu problemu, ale może pomaga przynajmniej zobaczyć, w jaki sposób obie dystrybucje wykorzystują ten sam podstawowy model powtarzanych prób Bernoulliego do opisania zachowania różnych parametrów.

sesqu
źródło

Doceniam twoje podejście do tego. Wszystkie odpowiedzi pomagają mi zastanowić się nad pytaniem i być może lepiej zrozumieć, o co pytam.

Mike Dunlavey,

Zrewidowałem pytanie, jeśli masz ochotę rzucić okiem. Dzięki.

Mike Dunlavey,

1

Jeśli chodzi o twoją wersję: Tak, , o ile interwały próbkowania są wystarczająco długie, aby każda obserwacja była niezależna i identycznie rozłożona. Zauważ, że jeśli chcesz być Bayesowski i określić nierównomierną wcześniejszą dystrybucję dla oczekiwanej rzeczywistej proporcji, możesz dodać coś innego do obu parametrów.

F \sim B e t a (I + 1, N - I + 1)

$F\sim Beta(I+1,N-I+1)$

sesqu

@sesqu, czy twoja odpowiedź może być w jakiś sposób powiązana z moim pytaniem tutaj: stats.stackexchange.com/questions/147978/... ? Byłbym wdzięczny za twoje przemyślenia na ten temat.

Vicent,

1

W krainie Bayesian rozkład Beta jest sprzężony przed parametrem p rozkładu dwumianowego.

Ian Fiske
źródło

2

Tak, ale dlaczego tak jest?

vonjd

1

Nie mogę komentować innych odpowiedzi, więc muszę utworzyć własną odpowiedź.

Posterior = C * Prawdopodobieństwo * Prior (C jest stałą, która powoduje, że Posterior jest zintegrowany z 1)

Biorąc pod uwagę model, który wykorzystuje rozkład dwumianowy dla prawdopodobieństwa i rozkład Beta dla Prior. Produkt tych dwóch, który generuje posterior, jest także rozkładem beta. Ponieważ Prior i Posterior są zarówno wersjami beta, a zatem są rozkładami sprzężonymi . Prior (Beta) nazywany jest sprzężonym Priorem dla prawdopodobieństwa (dwumianowy). Na przykład, jeśli pomnożysz Beta przez Normalny, posterior nie będzie już Beta. Podsumowując, Beta i Binomial to dwa rozkłady, które są często używane w wnioskowaniu bayesowskim. Beta jest koniugatem przed dwumianowym, ale te dwie dystrybucje nie są podzbiorem ani nadzbiorem drugiej.

Kluczową ideą wnioskowania bayesowskiego jest to, że traktujemy parametr p jako zmienną losową z zakresu od [0,1], co jest sprzeczne z podejściem wnioskowania częstych, w którym traktujemy parametr p jako stały. Jeśli przyjrzysz się bliżej właściwościom dystrybucji Beta, zobaczysz, że jej średnia i tryb są określane wyłącznie przez i nieistotne dla parametru p $\alpha$ $\beta$ . To, w połączeniu z jego elastycznością, powoduje, że Beta jest zwykle używana jako Prior.

John Li
źródło

1

Podsumowanie: Często mówi się, że dystrybucja Beta jest dystrybucją dystrybucji! Ale co to znaczy?

Zasadniczo oznacza to, że możesz naprawić i pomyśleć o jako funkcji . Poniższe obliczenia mówią, że wartość wzrasta od do po dostrojeniu od do . Szybkość wzrastania przy każdym wynosi dokładnie przy tym . $n,k$ $\mathbb P[Bin(n,p)\geqslant k]$ $p$ $\mathbb P[Bin(n,p)\geqslant k]$ $0$ $1$ $p$ $0$ $1$ $p$ $\beta(k,n-k+1)$ $p$

Niech oznacza losową zmienną dwumianową z próbkami i prawdopodobieństwem powodzenia . Korzystając z podstawowej algebry mamy $Bin(n,p)$ $n$ $p$

\frac{d}{d p} P [B i n (n, p) = i] = n (P [B i n (n - 1, p) = i - 1] - P [B i n (n - 1, p) = i]) .

$\frac d{dp}\mathbb P[Bin(n,p)=i]=n\Big(\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big).$

Ma również niezły dowód kombinatoryczny, pomyśl o tym jak o ćwiczeniu!

Więc mamy:

\frac{d}{d p} P [B i n (n, p) ⩾ k] = \frac{d}{d p} \sum_{i = k}^{n} P [B i n (n, p) = i] = n (\sum_{i = k}^{n} P [B i n (n - 1, p) = i - 1] - P [B i n (n - 1, p) = i])

$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=\frac d{dp}\sum_{i=k}^{n}\mathbb P[Bin(n,p)=i]=n\Big(\sum_{i=k}^{n}\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big)$ który jest serią teleskopową i można go uprościć jako

\frac{d}{d p} P [B i n (n, p) ⩾ k] = n P [B i n (n - 1, p) = k - 1] = \frac{n!}{(k - 1)! (n - k)!} p^{k - 1} (1 - p)^{n - k} = β (k, n - k + 1) .

$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=n\mathbb P[Bin(n-1,p)=k-1]=\frac{n!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k}=\beta(k,n-k+1).$

Uwaga Aby zobaczyć interaktywną wersję fabuły, spójrz na to . Możesz pobrać notebooka lub po prostu użyć linku Binder.

MR_BD
źródło

Zależność między rozkładami dwumianowymi i beta

Odpowiedzi: