System głosowania, który wykorzystuje dokładność każdego wyborcy i związaną z tym niepewność

Powiedzmy, że mamy proste pytanie „tak / nie”, na które chcemy poznać odpowiedź. I jest N głosujących na poprawną odpowiedź. Każdy wyborca ma historię - listę 1 i 0, pokazującą, czy w przeszłości mieli rację, czy nie. Jeśli założymy, że historia jest rozkładem dwumianowym, możemy znaleźć średnią wydajność wyborców w odniesieniu do takich pytań, ich zmienności, CI i wszelkich innych mierników zaufania.

Zasadniczo moje pytanie brzmi: jak włączyć informacje o zaufaniu do systemu głosowania ?

Na przykład, jeśli weźmiemy pod uwagę jedynie średnią wydajność każdego wyborcy, możemy zbudować prosty system ważenia głosów:

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Oznacza to, że możemy po prostu zsumować wagi wyborców pomnożone przez (dla „tak”) lub przez (dla „nie”). Ma to sens: jeśli wyborca 1 ma średnią poprawnych odpowiedzi równą , a wyborca 2 ma tylko , to prawdopodobnie głos pierwszej osoby należy uznać za ważniejszy. Z drugiej strony, jeśli pierwsza osoba odpowiedziała tylko na 10 takich pytań, a druga osoba odpowiedziała na 1000 takich pytań, jesteśmy znacznie bardziej pewni co do poziomu umiejętności drugiej osoby niż umiejętności pierwszej - możliwe, że pierwsza osoba miała szczęście , a po 10 relatywnie udanych odpowiedziach będzie kontynuował ze znacznie gorszymi wynikami. $+1$ $-1$ $.9$ $.8$

Bardziej precyzyjne pytanie może więc brzmieć tak: czy istnieje metryka statystyczna obejmująca zarówno siłę, jak i pewność co do jakiegoś parametru?

accuracy uncertainty weighted-mean voting-system przyjaciel
źródło

Odpowiedzi:

Powinieneś rozważyć ekspertyzę wyborcy jako ukrytą zmienną twojego systemu. Być może będziesz w stanie rozwiązać problem z wnioskowaniem bayesowskim . Reprezentacja jako model graficzny może wyglądać następująco:

model_ graficzny

Oznaczmy zmienne dla prawdziwej odpowiedzi, dla głosu wyborcy i dla jego historii. Powiedz, że masz również parametr „wiedzy specjalistycznej” taki, że . Jeśli umieścisz trochę wcześniej na tych - na przykład Beta przedtem - powinieneś być w stanie użyć twierdzenia Bayesa, aby wywnioskować , a następnie zintegrować przez aby obliczyć $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (A ∣ V_{i}, H_{i}) = \int_{μ_{i}} Pr (A, μ_{i} ∣ A_{i}, H_{i}) d μ_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Systemy te są trudne do rozwiązania. Możesz użyć algorytmu EM jako przybliżenia lub użyć pełnego schematu maksymalizacji prawdopodobieństwa, aby przeprowadzić dokładne wnioskowanie bayesowskie.

Zapoznaj się z tym wnioskiem Variational for Crowdsourcing , Liu, Peng i Ihler 2012 ( zaprezentowanym wczoraj na NIPS! ), Aby uzyskać szczegółowe algorytmy rozwiązania tego zadania.

Emile
źródło

Dziękuję za odpowiedź, ale czy mógłbyś być bardziej szczegółowy? W szczególności, co rozumiesz przez fachowość? Jeśli jest tylko prawdopodobne, że dana osoba odpowie poprawnie, to mamy już szacunkową średnią z poprzednich odpowiedzi, więc nie jest utajona. Jeśli masz na myśli, że wiedza specjalistyczna zawiera zarówno średnią, jak i pewność co do naszych szacunków, to w jaki sposób możemy propagować prawdopodobieństwa uzyskania wiedzy specjalistycznej i wyniku?

zaprzyjaźnij się

Tak, możesz reprezentować zarówno średnią, jak i pewność siebie dzięki tej zmiennej „wiedzy specjalistycznej” i wnioskowaniu bayesowskim. Dodałem kilka wyjaśnień i odniesienie do mojej odpowiedzi. Mam nadzieję, że to pomaga!

Emile,