Znalezienie precyzji oszacowania symulacji Monte Carlo

12

tło

Projektuję symulację Monte Carlo, która łączy dane wyjściowe serii modeli i chcę mieć pewność, że symulacja pozwoli mi wysunąć uzasadnione twierdzenia dotyczące prawdopodobieństwa symulowanego wyniku i dokładności tego oszacowania prawdopodobieństwa.

Symulacja pozwoli ustalić prawdopodobieństwo, że ława przysięgłych z określonej społeczności skaza określonego oskarżonego. Oto kroki symulacji:

  1. Korzystając z istniejących danych, wygeneruj logistyczny model prawdopodobieństwa ( M ) poprzez cofnięcie „pierwszego głosowania przysięgłego” na predyktory demograficzne.

  2. Użyj metod Monte Carlo, aby zasymulować 1000 wersji M (tj. 1000 wersji współczynników dla parametrów modelu).

  3. Wybierz jedną z 1000 wersji modelu ( M i ).

  4. Empanel 1000 jurorów poprzez losowe wybranie 1000 zestawów 12 „jurorów” ze „społeczności” ( C ) osób o określonych rozkładach cech demograficznych.

  5. Deterministycznie obliczyć prawdopodobieństwo pierwszej turze głosowania winny za każdego jurora wykorzystaniem M í .

  6. Renderuj prawdopodobny głos każdego „jurora” na głos decydujący (na podstawie tego, czy jest on większy, czy mniejszy niż losowo wybrana wartość między 0-1).

  7. Określ „ostateczny głos” każdego „jury” przy użyciu modelu (uzyskanego na podstawie danych empirycznych) prawdopodobieństwa skazania przez jury, pod warunkiem proporcji jurorów głosujących za skazaniem w pierwszym głosowaniu.

  8. Przechowuj odsetek wyroków winy dla 1000 ławy przysięgłych ( PG i ).

  9. Powtórzyć etapy 3-8 dla każdej z wersji z 1000 symulowanych z M .

  10. Obliczyć średnią wartość PG i raport, który jako punkt szacunków prawdopodobieństwa skazania  C .

  11. Zidentyfikuj wartości percentyla 2,5 i 97,5 dla PG i zgłoś to jako przedział ufności 0,95.

Obecnie używam 1000 ławników przysięgłych i 1000 ławników przy teorii, że 1000 losów czerpie z rozkładu prawdopodobieństwa - cech demograficznych C lub wersji M - wypełni ten rozkład.

pytania

Czy pozwoli mi to dokładnie określić dokładność mojego oszacowania? Jeśli tak, to ilu sędziów muszę empanelować dla każdego obliczenia PG i, aby pokryć rozkład prawdopodobieństwa C (więc unikam błędu selekcji); czy mogę użyć mniej niż 1000?

Dziękuję bardzo za wszelką pomoc!

Maggie
źródło
Z ciekawości: czy cokolwiek w tym modelu zależy od tego, czy oskarżony jest rzeczywiście winny ?
whuber
Model opiera się na odpowiedziach ankietowych na jeden wzorzec faktyczny, więc rzeczywista wina nie zmienia się. Przewiduję, jak różne jury wyłoniłyby się w jednej spornej sprawie.
Maggie,
OK, żartuję, zgłaszacie trzy szacunki: średnią i 2,5 i 97,5 percentyla PG. W przypadku których (-ych) potrzebujesz „dokładnego” ustalenia i jak dokładna musi być?
whuber
Również krok (6) jest tajemniczy. Czy możesz wyjaśnić, co to ma zrobić? Czy istnieje inna „losowo wybrana wartość” dla każdego jurora (5), każdego jury (4), każdego modelu (3) lub ich kombinacji?
whuber
1
(Patrz powyższy komentarz) Myślę, że mogę zmniejszyć (a) liczbę ławników. Błąd próbkowania jest funkcją liczby próbek. Przy 1000 sędziów na model mam łącznie milion próbek. Błąd próbkowania związany z 10 ^ 6 próbek wynosi ~ 0,1%. Gdybym użył tylko 35 sędziów na model, miałbym 3,5 * 10 ^ 4 próbek i ~ 0,5% błąd próbkowania. Ten błąd próbkowania jest znacznie mniejszy niż mój błąd pomiaru wynoszący ~ 5,0%. Dlatego powinienem być w stanie użyć 35 sędziów na model i użyć błędu pomiaru do oszacowania mojego przedziału ufności.
Maggie,

Odpowiedzi:

4

Istnieje jedno ogólne i „we wszechświecie” kryterium dobroci Monte Carlo - konwergencja.

Trzymaj się jednej litery M i sprawdź, jak PG zachowuje się z liczbą przysięgłych - powinna się zbiegać, więc pokaże ci liczbę powtórzeń, dla których będziesz mieć rozsądną (dla twojej aplikacji) liczbę znaczących cyfr. Powtórz ten test porównawczy dla kilku innych M, aby upewnić się, że nie masz szczęścia z wyborem M, a następnie przejdź do całej symulacji.


źródło
1
nie jestem pewien, czy ktoś w pełni reagował na pytanie. Składa się z dwóch części: (1) Czy opisana strategia modelowania zapewnia możliwe do obrony rozwiązanie problemu, który chce rozwiązać - mianowicie, jakie jest prawdopodobieństwo, że jury losowo wybrane ze społeczności C o określonych cechach demograficznych zagłosuje za znalezieniem oskarżony jest winny? I (2) Jeśli strategia modelowania jest rozsądna, ilu „ławy przysięgłych” musi wybrać i ile „wyroków” musi dla każdego z nich zasymulować, aby podać uzasadnione oszacowanie prawdopodobieństwa skazania i 0,95 CI? Chce oszczędzać na komputerach. Zobacz jej ostatni komentarz
dmk38
0

Wydaje mi się, że problemem jest to, czy model jest zbyt skomplikowany, aby można było na niego uważać bez użycia symulacji Monte Carlo.

Jeśli model jest względnie prosty, powinno być możliwe przyjrzenie się mu za pomocą statystyk Conventioanl i znalezienie rozwiązania zadawanego pytania, bez wielokrotnego uruchamiania modelu. Jest to trochę przesadne uproszczenie, ale jeśli wszystko, co zrobił Twój model, polegało na tworzeniu punktów w oparciu o rozkład normalny, możesz łatwo uzyskać odpowiedzi, których szukasz. Oczywiście, jeśli model jest taki prosty, prawdopodobnie nie będziesz musiał wykonać symulacji Monte Carlo, aby znaleźć odpowiedzi.

Jeśli problem jest złożony i nie można go podzielić na bardziej elementarny, Monte-Carlo jest właściwym typem modelu do użycia, ale nie sądzę, aby istniał sposób zdefiniowania granic ufności bez uruchomienia modelu. Ostatecznie, aby uzyskać opisany typ granic ufności, model musiałby być uruchamiany wiele razy, rozkład prawdopodobieństwa musiałby być dopasowany do wyników, a stamtąd można by określić granice zaufania. Jednym z wyzwań związanych z symulacją Monte-Carlo jest to, że modele dają dobre i regularne odpowiedzi dla rozkładów w średnim zakresie, ale ogony często dają znacznie więcej zmiennych wyników, co ostatecznie oznacza więcej przebiegów w celu zdefiniowania kształtu wyników na poziomie 2,5% i 97,5% percentyli.

Ian Turner
źródło