Pomóż mi zrozumieć wcześniejsze i późniejsze rozkłady bayesowskie

124

W grupie studentów są 2 z 18 osób leworęcznych. Znajdź rozkład tylny studentów leworęcznych w populacji, zakładając, że uprzedni nieinformacyjny. Podsumuj wyniki. Według literatury 5-20% osób jest leworęcznych. Uwzględnij te informacje w swoim poprzednim i oblicz nowy nowy z tyłu.

Wiem, że należy tutaj użyć wersji beta . Po pierwsze, z wartościami i jako 1? Oto równanie, które znalazłem w materiale na tylną część ciałaαβ

π(r|Y)r(Y+1)×(1r)(NY+1)

Y=2N = 18 ,N=18

Dlaczego jest to, że w równaniu? ( oznacza odsetek osób leworęcznych). Nie jest znane, więc jak może być w tym równaniu? Wydaje mi się niedorzeczne obliczenie dla i użycie tego równaniu dającym . Cóż, przy próbce wynik wynosił . mam wydedukować z tego?rrrYrrr=2/180,0019f

Równanie dające oczekiwaną wartość przy znanych i działało lepiej i dało mi co brzmi właściwie. Równanie to E (r | X, N, α, β) = (α + X) / (α + β + N) o wartości 1 przypisanej do α i β . Jakie wartości powinienem podać α i β, aby uwzględnić wcześniejsze informacje?RYN0,15E(r|X,N,α,β)=(α+X)/(α+β+N)1αβαβ

Niektóre wskazówki byłyby bardzo mile widziane. Ogólny wykład na temat wcześniejszych i późniejszych dystrybucji również nie zaszkodziłby (ja niejasno rozumiem, czym one są, ale tylko niejasny). Pamiętaj również, że nie jestem bardzo zaawansowanym statystykiem (właściwie jestem z wykształcenia politologiem) zaawansowana matematyka prawdopodobnie przeleci nad moją głową.

Kok
źródło
4
Czy spojrzałeś na to pytanie i odpowiedziałeś ?
David Robinson
7
Fraza „ Znajdź rozkład tylny studentów leworęcznych ” nie ma sensu. Zmienne losowe mają rozkłady, a „studenci leworęczni” nie są wartością RV. Przypuszczam, że masz zamiar „ znaleźć rozkład tylny odsetka studentów leworęcznych ”. Ważne jest, aby nie pomijać takich szczegółów, ale mieć jasność co do tego, o czym właściwie mówisz.
Glen_b
2
Właściwie czytając twoje pytanie, wydaje mi się, że twoim problemem nie są tak duże statystyki bayesowskie, jak zwykłe zrozumienie rozkładów prawdopodobieństwa; to jest zawsze tak , że argument z funkcji rozkładu (lub funkcji prawdopodobieństwa, jak masz tam) jest funkcją nieznanego (zmiennej losowej). Właśnie o to chodzi.
Glen_b
Komentarze nie są przeznaczone do rozszerzonej dyskusji; ta rozmowa została przeniesiona do czatu .
gung

Odpowiedzi:

233

Pozwól mi najpierw wyjaśnić, czym jest przeor koniugatu . Wyjaśnię następnie analizy bayesowskie na twoim konkretnym przykładzie. Statystyki bayesowskie obejmują następujące kroki:

  1. Zdefiniuj wcześniejszy rozkład, który uwzględnia twoje subiektywne przekonania na temat parametru (w twoim przykładzie interesującym parametrem jest odsetek osób leworęcznych). Przeor może być „nieinformacyjny” lub „pouczający” (ale nie ma przeora, który nie miałby żadnych informacji, zobacz dyskusję tutaj ).
  2. Zbierać dane.
  3. Zaktualizuj swój poprzedni rozkład o dane, używając twierdzenia Bayesa, aby uzyskać rozkład tylny. Rozkład tylny jest rozkładem prawdopodobieństwa, który reprezentuje twoje zaktualizowane przekonania na temat parametru po obejrzeniu danych.
  4. Przeanalizuj rozkład tylny i podsumuj go (średnia, mediana, sd, kwantyle, ...).

Podstawą wszystkich statystyk bayesowskich jest twierdzenie Bayesa, które jest

posteriorprior×likelihood

W twoim przypadku prawdopodobieństwo jest dwumianowe. Jeśli wcześniejsze i tylne rozmieszczenie należą do tej samej rodziny, poprzednie i tylne są nazywane rozkładami sprzężonymi . Rozkład beta jest wcześniej koniugatem, ponieważ tylny jest również rozkładem beta. Mówimy, że rozkład beta jest rodziną sprzężoną dla prawdopodobieństwa dwumianowego. Analizy sprzężone są wygodne, ale rzadko występują w rzeczywistych problemach. W większości przypadków rozkład tylny należy znaleźć numerycznie za pomocą MCMC (używając Stan, WinBUGS, OpenBUGS, JAGS, PyMC lub innego programu).

Jeśli wcześniejszy rozkład prawdopodobieństwa nie integruje się z 1, nazywa się to niepoprawnym przeorem, a jeśli integruje się z 1, nazywa się to właściwym przeorem. W większości przypadków niewłaściwe przejęcie nie stanowi poważnego problemu dla analiz bayesowskich. Rozkład tylny musi być jednak prawidłowy, tzn. Tylny musi się zintegrować z 1.

Te podstawowe zasady wynikają bezpośrednio z natury procedury analizy bayesowskiej:

  • Jeśli przeor nie ma charakteru informacyjnego, dane tylne są w dużej mierze zdeterminowane danymi (późniejsze są sterowane danymi)
  • Jeśli przeor jest pouczający, a posterior jest mieszaniną przeor i danych
  • Im więcej informacji, tym więcej danych potrzebujesz, aby „zmienić” swoje przekonania, że ​​tak powiem, ponieważ tylna część jest bardzo napędzana przez wcześniejsze informacje
  • Jeśli masz dużo danych, dane będą dominować w dystrybucji tylnej (będą one przytłaczać wcześniejsze)

Doskonały przegląd niektórych możliwych „pouczających” i „nieinformacyjnych” priorów dla wersji beta można znaleźć w tym poście .

Powiedz, że Twoja poprzednia wersja beta to gdzie to odsetek osób leworęcznych. Aby określić wcześniejsze parametry i , warto znać średnią i wariancję rozkładu beta (na przykład, jeśli chcesz, aby przedtem była pewna średnia i wariancja). Średnia to . Zatem za każdym razem, gdy , średnia wynosi . Wariacją rozkładu wersji beta jest . Teraz wygodną rzeczą jest to, że możesz pomyśleć o iBeta(πLH|α,β)πLHαβπ¯LH=α/(α+β)α=β0.5αβ(α+β)2(α+β+1)αβjak wcześniej zaobserwowano (pseudo-) dane, mianowicie leworęczni i praworęczni z (pseudo-) próbki o wielkości . Rozkład jest równomierny (wszystkie wartości są jednakowo prawdopodobne) i jest równoważny z obserwacją dwóch osób z których jeden jest leworęczny, a drugi praworęczny.αβneq=α+βBeta(πLH|α=1,β=1)πLH

Dystrybucja boczna beta to po prostu gdzie jest rozmiarem próbki, a jest liczbą osób leworęcznych w próbce. Tylna średnia z to zatem . Tak aby znaleźć parametry rozkładu a posteriori beta, możemy po prostu dodać leworęcznych do i praworęcznych do . Tylna wariancja toBeta(z+α,Nz+β)NzπLH(z+α)/(N+α+β)zαNzβ(z+α)(Nz+β)(N+α+β)2(N+α+β+1). Zauważ, że bardzo pouczający przeor prowadzi również do mniejszej wariancji rozkładu bocznego (poniższe wykresy dobrze ilustrują ten punkt).

W twoim przypadku, i a twój przeor jest mundurem, który nie jest pouczający, więc . Twoja tylna dystrybucja to zatem . Średnia tylna to . Oto wykres, który pokazuje wcześniejsze, prawdopodobieństwo danych i tylnejz=2N=18α=β=1Beta(3,17)π¯LH=3/(3+17)=0.15

Przeor, prawdopodobieństwo danych i rozkład tylny z jednolitym przełożeniem

Widzisz, że ponieważ twoja poprzednia dystrybucja jest nieinformacyjna, twoja tylna dystrybucja jest całkowicie napędzana przez dane. Wykreślono również interwał największej gęstości (HDI) dla rozkładu tylnego. Wyobraź sobie, że umieszczasz swój rozkład tylny w basenie 2D i zaczynasz napełniać wodą, aż 95% rozkładu znajdzie się powyżej linii wodnej. Punkty przecięcia linii wodnej z rozkładem tylnym stanowią 95% -HDI. Każdy punkt w HDI ma większe prawdopodobieństwo niż jakikolwiek punkt poza nim. Ponadto HDI zawsze zawiera pik rozkładu tylnego (tj. Tryb). HDI różni się od równego 95% wiarygodnego przedziału, w którym 2,5% z każdego ogona tylnej jest wykluczone (patrz tutaj ).

W drugim zadaniu poproszono o uwzględnienie informacji, że 5-20% populacji to osoby leworęczne. Można to zrobić na kilka sposobów. Najprościej jest powiedzieć, że poprzednia dystrybucja beta powinna mieć średnią co stanowi średnią i . Ale jak wybrać i z poprzedniej dystrybucji beta? Po pierwsze, chcesz, aby średnia z wcześniejszego rozkładu wynosiła z pseudopróbki o równoważnej wielkości próbki . Mówiąc bardziej ogólnie, jeśli chcesz, aby twój przed miał średnią wielkością pseudopróbki , odpowiedni0.1250.050.2αβ0.125neqmneqαi to: i . Wystarczy, że wybierzesz rozmiar pseudopróbki który określa stopień pewności co do twoich wcześniejszych informacji. Powiedzmy, że jesteś bardzo pewny swoich wcześniejszych informacji i ustaw . Parametry Twojej wcześniejszej dystrybucji to: i . Rozkład tylny to ze średnią około która jest praktycznie taka sama jak poprzednia średniaβα=mneqβ=(1m)neqneqneq=1000α=0.1251000=125β=(10.125)1000=875Beta(127,891)0.1250.125. Wcześniejsze informacje dominują w odcinku tylnym (patrz poniższy wykres):

Przeor, prawdopodobieństwo danych i rozkład a posteriori z silnym wyprzedzeniem informacyjnym

Jeśli nie masz pewności co do wcześniejszych informacji, możesz ustawić swojej pseudopróbki na, powiedzmy, , co daje i dla poprzedniej dystrybucji beta. Rozkład tylny to ze średnią około . Średnia tylna jest teraz zbliżona do średniej twoich danych ( ), ponieważ dane przytłaczają wcześniejsze. Oto wykres pokazujący sytuację:neq10α=1.25β=8.75Beta(3.25,24.75)0.1160.111

Wcześniejsze, prawdopodobieństwo danych i rozkład tylny z beta wcześniejszym odpowiadającym wielkości pseudopróbki 3

Bardziej zaawansowaną metodą włączania wcześniejszych informacji byłoby stwierdzenie, że kwantyl twojego wcześniejszego rozkładu beta powinien wynosić około a kwantyl powinien wynosić około . Jest to równoznaczne z powiedzeniem, że masz 95% pewności, że odsetek osób leworęcznych w populacji wynosi od 5% do 20%. Funkcja w pakiecie R oblicza odpowiednie wartości i beta rozkładu beta odpowiadającego takim kwantylom. Kod jest0.0250.050.9750.2beta.selectLearnBayesαβ

library(LearnBayes)

quantile1=list(p=.025, x=0.05)     # the 2.5% quantile should be 0.05
quantile2=list(p=.975, x=0.2)      # the 97.5% quantile should be 0.2
beta.select(quantile1, quantile2)

[1]  7.61 59.13

Wydaje się, że rozkład beta z parametrami i ma pożądane właściwości. Poprzednia średnia to co jest bliskie średniej twoich danych ( ). Ponownie, ta wcześniejsza dystrybucja zawiera informacje o pseudopróbce o równoważnej wielkości próbki około . Rozkład tylnej jest przy średniej która jest porównywalna ze średnią poprzedniej analizy, wykorzystując wysoce informacyjny przed. Oto odpowiedni wykres:α=7.61β=59.137.61/(7.61+59.13)0.1140.111neq7.61+59.1366.74Beta(9.61,75.13)0.113Beta(125,875)

Prior, prawdopodobieństwo danych i rozkład a posteriori z Prior, który ma 0,05 i 0,975 kwantyli 0,05 i 0,2

Zobacz także to odniesienie, aby uzyskać krótki, ale bardzo dobry przegląd rozumowania bayesowskiego i prostej analizy. Dłuższe wprowadzenie do analiz sprzężonych, zwłaszcza danych dwumianowych, można znaleźć tutaj . Ogólne wprowadzenie do myślenia bayesowskiego można znaleźć tutaj . Więcej slajdów dotyczących aspektów statystyki baysiańskiej znajduje się tutaj .

COOLSerdash
źródło
1
Dlaczego wybieramy tutaj dystrybucję Beta?
Metariat
1
@ Metallica Głównym powodem jest to, że Beta jest koniugatem przed rozkładem dwumianowym. Oznacza to, że jeśli wcześniej wybierzemy Beta, późniejszym będzie również Beta. Dalsze powody są takie, że Beta ma wartość od 0 do 1 i jest bardzo elastyczna. Obejmuje na przykład mundur. Ale jakikolwiek właściwy rozkład z obsługą w może być użyty wcześniej. Tyle, że tylny jest trudniejszy do obliczenia. (0,1)
COOLSerdash
Czy zdarza się, że nadal masz dokument „Wprowadzenie do myślenia bayesowskiego”? Link Dropbox nie działa.
bs7280
@ bs7280 Zaktualizowałem linki. Powinny znów działać.
COOLSerdash
1
@meduz Ściśle mówiąc, nie ma prawdziwego „nieinformacyjnego” przeora. Chciałbym odnieść się do doskonałej odpowiedzi Tima w tej dyskusji.
COOLSerdash
8

Rozkład beta z = 1 i = 1 jest taki sam, jak rozkład jednolity. Jest to więc jednolite. Próbujesz znaleźć informacje o parametrze rozkładu (w tym przypadku procent osób leworęcznych w grupie osób). Formuła Bayesa stwierdza:αβ

P(r|Y1,...,n) =P(Y1,...,n|r)P(r)P(Y1,...,n|θ)P(r)

które wskazałeś jest proporcjonalne do:

P(r|Y1,...,n) (Y1,...,n|r)P(r)

Zasadniczo zaczynasz od wcześniejszego przekonania o odsetku osób leworęcznych w grupie (P (r), dla którego używasz jednolitego dystansu), a następnie rozważasz dane, które gromadzisz w celu poinformowania o tym przełożonego (dwumianowy w tym przypadku albo jesteś praworęczny, albo leworęczny, więc ). Rozkład dwumianowy ma wcześniej koniugat beta, co oznacza, że ​​rozkład tylnyP(Y1,...,n|r)P(r|Y1,...n), rozkład parametru po uwzględnieniu danych należy do tej samej rodziny, co wcześniej. r tutaj nie jest koniec nieznany. (i szczerze mówiąc, to nie było przed zebraniem danych. mamy całkiem niezły pomysł na proporcję osób leworęcznych w społeczeństwie.) Masz zarówno wcześniejszą dystrybucję (twoje założenie r) i zebrałeś dane i złóż je razem. Późniejsze jest twoje nowe założenie dotyczące podziału osób leworęcznych po uwzględnieniu danych. Więc bierzesz prawdopodobieństwo danych i mnożymy je przez mundur. Oczekiwana wartość rozkładu wersji beta (jakim jest plakat) to . Więc kiedy zacząłeś, twoje założenie z = 1 iαα+βαβ= 1 było to, że odsetek leworęcznych na świecie wynosił . Teraz zebrałeś dane, które mają 2 resztki z 18. Obliczyłeś później. (wciąż beta) Twoje wartości i są teraz różne, zmieniając twoje wyobrażenie o proporcji lewaków i prawicowców. jak to się zmieniło?12αβ

Eric Peterson
źródło
1

W pierwszej części pytania prosi się o zdefiniowanie odpowiedniego przedimka dla „r”. Biorąc pod uwagę dane dwumianowe, rozsądnie byłoby wybrać rozkład wersji beta. Ponieważ wtedy tylna będzie wersją beta. Jednolita dystrybucja będąca szczególnym przypadkiem wersji beta, możesz wybrać wcześniej dla „r” jednolitą dystrybucję, pozwalając, aby każda możliwa wartość „r” była równie prawdopodobna.

W drugiej części podano informacje dotyczące wcześniejszej dystrybucji „r”.

Mając to pod ręką, odpowiedź @ COOLSerdash poda właściwe wskazówki.

Dziękujemy za opublikowanie tego pytania i COOLSerdash za udzielenie prawidłowej odpowiedzi.

Nilupa Rupasinghe
źródło