Pozyskiwanie priorów od ekspertów

Jak powinienem uzyskać wcześniejsze informacje od ekspertów przy dopasowaniu modelu Bayesa?

John Cook podaje kilka interesujących rekomendacji. Zasadniczo uzyskaj percentyle / kwantyle (a nie średnie lub niejasne parametry skali!) Od ekspertów i dopasuj je do odpowiedniego rozkładu.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

Obecnie badam próbną metodę ruletki do mojej pracy magisterskiej jako techniki pozyskiwania. Jest to metoda graficzna, która pozwala ekspertowi przedstawić swój subiektywny rozkład prawdopodobieństwa dla niepewnej wielkości.

Eksperci otrzymują liczniki (lub coś, co można uznać za żetony kasyna) reprezentujące równe gęstości, których suma sumowałaby się do 1 - na przykład 20 prawdopodobieństw = 0,05 każdy. Następnie instruuje się ich, aby ustawili je na wstępnie wydrukowanej siatce, z pojemnikami reprezentującymi przedziały wyników. Każda kolumna reprezentowałaby ich przekonanie o prawdopodobieństwie uzyskania odpowiedniego wyniku bin.

Przykład: Uczeń jest proszony o przewidzenie oceny w przyszłym egzaminie. Poniższy rysunek pokazuje wypełnioną siatkę dla wywołania subiektywnego rozkładu prawdopodobieństwa. Oś pozioma siatki pokazuje możliwe pojemniki (lub odstępy między znakami), o które uczeń został poproszony. Liczby w górnym rzędzie rejestrują liczbę żetonów na pojemnik. Wypełniona siatka (przy użyciu łącznie 20 żetonów) pokazuje, że uczeń uważa, że ​​istnieje 30% szansy na ocenę między 60 a 64,9.

Oto kilka powodów przemawiających za zastosowaniem tej techniki:

1. Na wiele pytań dotyczących kształtu subiektywnego rozkładu prawdopodobieństwa eksperta można odpowiedzieć bez potrzeby stawiania ekspertowi długiej serii pytań - statystyk może po prostu odczytać gęstość powyżej lub poniżej dowolnego punktu lub pomiędzy dwoma dowolnymi punktami.

2. Podczas procesu pozyskiwania eksperci mogą poruszać się po żetonach, jeśli są niezadowoleni ze sposobu, w jaki je początkowo umieścili - dzięki temu mogą być pewni ostatecznego wyniku, który zostanie przedstawiony.

3. Zmusza eksperta do zachowania spójności w zestawie podanych prawdopodobieństw. Jeśli wszystkie żetony zostaną wykorzystane, prawdopodobieństwa muszą się sumować do jednego.

4. Wydaje się, że metody graficzne zapewniają dokładniejsze wyniki, szczególnie dla uczestników o skromnym poziomie zaawansowania statystycznego.

Pozyskiwanie priorów to trudna sprawa.

Metody statystyczne uzyskiwania rozkładów prawdopodobieństwa i rozkładów prawdopodobieństwa są całkiem dobrymi praktycznymi przewodnikami wcześniejszego wywoływania. Proces w obu artykułach jest opisany następująco:

1. tło i przygotowanie;
2. identyfikacja i rekrutacja ekspertów;
3. motywacja i szkolenie eksperta (ekspertów);
4. strukturyzowanie i rozkład (zwykle decydujące dokładnie, jakie zmienne należy wywołać i jak wywołać wspólne rozkłady w przypadku wielu zmiennych);
5. sama wzbudzenie.

Oczywiście analizują również, w jaki sposób wywołanie prowadzi do uzyskania informacji, które mogą być odpowiednie lub w inny sposób definiować dystrybucje (na przykład w kontekście Bayesa, dystrybucje Beta ), ale co bardzo ważne, zajmują się również typowymi pułapkami w modelowaniu wiedzy eksperckiej (kotwiczenie, rozkłady wąskie i małe ogony itp.).

Zalecam, aby ekspert od przedmiotu określił średnią lub tryb przeora, ale mogę dostosować to, co dają jako skalę . Większość ludzi nie jest bardzo dobra w określaniu wariancji.

I zdecydowanie nie pozwoliłbym ekspertowi określić rodziny dystrybucji, w szczególności grubości ogona. Załóżmy na przykład, że potrzebujesz symetrycznego rozkładu dla przeora. Nikt nie może tak precyzyjnie określić swojego subiektywnego przekonania, aby odróżnić rozkład normalny od, powiedzmy, rozkładu Studenta-t o 5 stopniach swobody. Ale w niektórych kontekstach wcześniejszy t (5) jest znacznie bardziej wytrzymały niż normalny wcześniejszy. Krótko mówiąc, uważam, że wybór grubości ogona jest techniczną kwestią statystyczną, a nie kwestią kwantyfikacji opinii ekspertów.

To interesujące pytanie jest przedmiotem niektórych badań w ACERA . Głównym badaczem jest Andrew Speirs-Bridge, a jego praca jest wyjątkowo łatwa w wyszukiwaniu w Google :)