Kwadratowa ocena inteligencji i określenie zwycięzcy

Istnieje podcast NPR o nazwie Intelligence Squared. Każdy odcinek jest transmisją debaty na żywo na temat kontrowersyjnego stwierdzenia, takiego jak „Druga poprawka nie ma już znaczenia” lub „Akcja afirmatywna na kampusach uniwersyteckich wyrządza więcej szkody niż pożytku”. Debata czterech przedstawicieli - dwóch za wnioskiem i dwóch przeciw.

Aby ustalić, która strona wygra, publiczność jest ankietowana zarówno przed debatą, jak i po niej. Stronę, która zyskała więcej pod względem bezwzględnego procentu, uznaje się za zwycięzcę. Na przykład:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Intuicyjnie uważam, że ta miara sukcesu jest stronnicza i zastanawiam się, jak można by sondować odbiorców, aby ustalić zwycięzcę w uczciwy sposób.

Trzy problemy, które natychmiast widzę za pomocą bieżącej metody:

• W skrajności, jeśli jedna strona zaczyna ze 100% zgodą, może tylko remisować lub przegrać.

• Jeśli nie ma decyzji, wówczas strona o mniejszej wstępnej zgodności może być postrzegana jako posiadająca większą próbkę do pobrania.

• Niezdecydowana strona prawdopodobnie nie będzie naprawdę niezdecydowana. Jeśli założymy, że obie strony są jednakowo spolaryzowane, wydaje się, że nasze wcześniejsze przekonanie o niezdecydowanej populacji powinno być jeśli każda z nich była zmuszona opowiedzieć się po stronie .$\text{Beta}(\text{# For}, \text{# Against})$

Biorąc pod uwagę, że musimy polegać na badaniu opinii publicznej, czy istnieje bardziej sprawiedliwy sposób na ocenę, kto wygra?

Twoje obawy są uzasadnione. Niestety istnieje wiele możliwych do obrony, obiektywnych sposobów rozwiązania tego problemu i mogą one powodować konflikty. Poniższa analiza stanowi ramy dla podjęcia decyzji, w jaki sposób możesz chcieć ocenić wynik i pokazuje, jak zależne są twoje wnioski od założeń dotyczących dynamiki sytuacji.

---

Mamy niewielką lub żadną kontrolę nad początkową grupą odbiorców. Może nie reprezentować większej populacji (np. Wszystkich widzów), którymi jesteśmy bardziej zainteresowani. Dlatego bezwzględna liczba opinii ma niewielkie znaczenie: ważne są tempo, w jakim ludzie mogą zmienić zdanie. (Na podstawie tych wskaźników moglibyśmy oszacować, jak może zmienić się populacja słuchająca, biorąc pod uwagę informacje o ich początkowych opiniach, nawet jeśli proporcje opinii wśród słuchaczy różnią się od ankietowanych w studio).

Wynik składa się zatem z sześciu możliwych zmian opinii i sześciu powiązanych zmian:

• Tych „za”, któremu będzie indeksem może zmienić zdanie i kończy się albo przed (z indeksem 2 ) przy szybkości 12 lub niezdecydowanych (z indeksem 3 ) przy szybkości 13 .$1,$$2$$a_{12}$$3$$a_{13}$

• Tych „przeciw” może zmienić zdanie „do” w tempie 21 lub „niezdecydowany” w tempie 23 .$a_{21}$$a_{23}$

• W undecideds może zmienić ich umysły, aby „za” przy szybkości 31 lub „przeciw”, przy szybkości 32 .$a_{31}$$a_{32}.$

Definiowanie i ja , bo ja = 1 , 2 , 3 , jako odsetek osób o indeksie i nie zmieniających ich umysły.$a_{ii}$$i=1,2,3,$$i$

Kolumny macierzy zawierają liczby nieujemne, które należy dodać do jedności (zakładając, że każdy, kto odpowie na pierwszą ankietę, również odpowie na ostatnią). Pozostawia to sześć niezależnych wartości do ustalenia na podstawie przejścia od początkowego rozkładu w widowni, x = ( 0,18 , 0,42 , 0,40 ) , do końcowego rozkładu y = ( 0,23 , 0,49 , 0,28 ) = A$\mathbb{A}=(a_{ij})$$x=(0.18, 0.42, 0.40)$$y=(0.23, 0.49, 0.28) = \mathbb{A}x$. Jest to niedookreślony układ (ograniczonych) równań liniowych, pozostawiający ogromną elastyczność w uzyskiwaniu rozwiązania. Spójrzmy na trzy rozwiązania.

Rozwiązanie 1: Najmniejsza zmiana

W pewnym sensie możemy poprosić macierz przejściową aby była jak najmniejsza. Jednym ze sposobów jest zminimalizowanie całkowitych proporcji osób, które zmieniają swoje opinie. Dokonano tego w przykładzie z rozwiązaniem$\mathbb{A}$

$$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$$

Oznacza to, że niezdecydowanych skończyło, 17,5 % z nich skończyło się przeciw, a żaden z pierwotnych forów ani przeciw nie zmienił zdania. Kto wygrał? Przeciwnicy, oczywiście, ponieważ debata przekonała większą część niezdecydowanych do zadowolenia się opinią „przeciw”.$12.5\%$$17.5\%$

Ten model byłby odpowiedni, jeśli uważasz, że początkowe frakcje są zahartowane na ich opinie, a jedynymi osobami, które mogą zmienić zdanie, są osoby pierwotnie zadeklarowane jako niezdecydowane.

Rozwiązanie 2: Najmniejsze kwadraty

Prostym matematycznie rozwiązaniem jest znalezienie macierzy której kwadratowa norma L 2 | | A | | 2 2 = t r ( A ′ A ) jest tak małe, jak to możliwe: minimalizuje to sumę kwadratów wszystkich dziewięciu prawdopodobieństw przejścia (które obejmują a i i reprezentujące proporcje, które nie zmieniają zdania). Jego rozwiązaniem (w zaokrągleniu do dwóch miejsc po przecinku) jest$\mathbb{A}$$L^2$$||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$$a_{ii}$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$$

Porównując wiersze, widzimy, że chociaż strony „przeciw” przekonano do konwersji na „za” (a kolejne 27 % było wystarczająco zdezorientowane, aby stać się niezdecydowanym), w pełni 41 % strony „za” zostało przekonwertowane (i kolejne 31 % było zdezorientowanych). Pierwotni niezdecydowani przeszli na stronę „przeciw” ( 50 % w porównaniu z 22 % ). Teraz „przeciw” jest wyraźnym zwycięzcą.$22\%$$27\%$$41\%$$31\%$$50\%$ $22\%$

Rozwiązanie najmniejszych kwadratów zazwyczaj powoduje wiele zmian w każdej grupie. (Z zastrzeżeniem ograniczeń wynikających z problemu, stara się uczynić zmienia wszystko równa ). Czy to odpowiada realistycznego portretu populacji jest trudny do określenia, ale nie wykazują matematycznie możliwych obraz tego, co się stało podczas debaty.$1/3$

Rozwiązanie 3: Karane najmniejsze kwadraty

Aby kontrolować i ograniczyć tempo, w jakim ludzie zmieniają swoje opinie, ukarajmy cel najmniejszych kwadratów, włączając terminy sprzyjające bez zmiany opinii. Są to warunki na przekątnej . Można przypuszczać, że trudniej jest zmienić zdanie kogoś, kto nie jest niezdecydowany, więc dobrze byłoby zrzucić to drugie. W tym celu wprowadź dodatnie wagi ω i znajdź A, dla którego | | A | | 2 2 - ω 1 a 11 - ω 2 a 22 - ω 3 a 33 jest zminimalizowane.$\mathbb{A}$$\omega_i$$\mathbb{A}$

$$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$$

$\omega = (1,1,1/2)$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$$

$40\%$$17\%$$23\%$

Podsumowanie

W tym przejściowym modelu zmiany opinii większość metod rozwiązania wskazuje na wygraną strony „przeciw” w tym konkretnym przykładzie. Brak silnych opinii na temat dynamiki zmian sugerujących wygraną strony przeciwnej.

$(.20,.60,.20)$$(.30,.40,.30)$$20\%$$30\%$$40\%$$30\%$. Jednak (zaokrąglone) rozwiązanie najmniejszych kwadratów przynajmniej sugeruje, że może się to zdarzyć, w którym debata nieco faworyzuje drugą stronę! To jest

$$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$$

$36\%$$29\%$$(36\%)$ $32\%$

dodatkowe komentarze

$\mathbb{A}$

$\mathbb{A}$

$$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$$ $0.5$dla obu drużyn. Zauważ, że wciąż istnieje wiele możliwości wyboru reguły decyzyjnej, ponieważ przestrzeń wyników jest dwuwymiarowa, ale jeśli ufamy modelowi predykcyjnemu, nie ma to znaczenia dla uczciwości konkursu. Można np. Po prostu zdecydować, że zespół wygrywa, jeśli wskaźnik „za przeciw” po debacie przekroczy medianę predykcyjną (zależnie od ankiety przed głosowaniem).

Pomysły na zbudowanie modelu predykcyjnego

$$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$$ $P$$a$$a$$a$$a_{ff}=a_{aa}$$a_{fu}=a_{au}$

$a$