Wyniki wyborów w USA 2016: Co poszło nie tak z modelami prognostycznymi?

Najpierw był Brexit , teraz wybory w USA. Wiele prognoz modelowych zostało znacznie zmniejszonych i czy można się z nich wyciągnąć wnioski? Jeszcze wczoraj o 16:00 czasu PST rynki bukmacherskie nadal faworyzowały Hillary od 4 do 1.

Uważam, że rynki bukmacherskie z prawdziwymi pieniędzmi na linii powinny działać jako zestaw wszystkich dostępnych modeli predykcyjnych. Nietrudno więc powiedzieć, że te modele nie spisały się zbyt dobrze.

Widziałem jedno wytłumaczenie, że wyborcy nie chcieli identyfikować się jako zwolennicy Trumpa. Jak model może uwzględniać takie efekty?

Jednym z wyjaśnień makro, które przeczytałem, jest wzrost populizmu . Powstaje zatem pytanie, w jaki sposób model statystyczny może uchwycić taki trend makro?

Czy te modele prognostyczne kładą zbyt duży nacisk na dane z ankiet i nastrojów, niewystarczająco z tego, gdzie stoi kraj w widoku na 100 lat? Cytuję komentarze znajomego.

Krótko mówiąc, odpytywanie nie zawsze jest łatwe. Te wybory mogły być najtrudniejsze.

Za każdym razem, gdy próbujemy dokonać wnioskowania statystycznego, podstawowym pytaniem jest, czy nasza próbka stanowi dobrą reprezentację zainteresowanej populacji. Typowe założenie, które jest wymagane w przypadku wielu rodzajów wnioskowania statystycznego, polega na tym, że nasza próbka jest całkowicie losową próbką z interesującej populacji (i często potrzebujemy również próbek, aby były niezależne). Jeśli te założenia są prawdziwe, zazwyczaj mamy dobre miary niepewności oparte na teorii statystycznej.

Ale definitywnie nie mamy tych założeń, które są prawdziwe w sondażach! Mamy dokładnie 0 próbek z naszej populacji: rzeczywiste głosy oddane w dniu wyborów. W takim przypadku nie możemy dokonać żadnego prawidłowego wnioskowania bez dalszych, niesprawdzalnych założeń dotyczących danych. A przynajmniej niestabilne aż do dnia wyborów.

Czy całkowicie się poddajemy i mówimy „50% –50%!”? Zazwyczaj nie. Możemy próbować przyjąć, jak uważamy, rozsądne założenia dotyczące sposobu oddawania głosów. Może na przykład chcemy wierzyć, że sondaże są obiektywnymi szacunkami głosów w dniu wyborów, a także pewnym pewnym obiektywnym hałasem czasowym (tj. Ewoluującą opinią publiczną w miarę upływu czasu). Nie jestem ekspertem od metod odpytywania, ale wierzę, że jest to typ modelu 538. A w 2012 roku działało całkiem dobrze. Więc te założenia były prawdopodobnie całkiem rozsądne. Niestety, nie ma realnego sposobu oceny tych założeń poza uzasadnieniem ściśle jakościowym. Więcej dyskusji na podobny temat można znaleźć w temacie Zaginięcia, którego nie można zapomnieć.

Moja teoria, dlaczego sondaże wypadły tak słabo w 2016 r .: ankiety nie były obiektywnymi szacunkami zachowania w dniu głosowania. Sądzę, że zwolennicy Trumpa (i prawdopodobnie także zwolennicy Brexitu) byli znacznie bardziej nieufni wobec ankieterów. Pamiętaj, że pan Trump aktywnie potępił ankiety. W związku z tym uważam, że zwolennicy Trumpa raczej nie zgłaszali zamiarów głosowania ankieterom niż zwolennikom jego przeciwników. Spekulowałbym, że spowodowało to nieprzewidziane ciężkie nastawienie w sondażach.

Jak analitycy mogliby to uwzględnić, korzystając z danych ankiety? Na podstawie samych danych ankiety nie ma realnego sposobu na wykonanie tego w sposób ilościowy. Dane ankiety nie mówią nic o tych, którzy nie brali udziału. Można jednak poprawić sondaże w sposób jakościowy, wybierając bardziej rozsądne (ale niestabilne) założenia dotyczące relacji między danymi z ankiet a zachowaniem w dniu wyborów. To nie jest trywialne i naprawdę trudna część bycia dobrym ankieciem (uwaga: nie jestem ankieterem). Zwróć też uwagę, że wyniki były również bardzo zaskakujące dla ekspertów, więc nie było tak, że były oczywiste oznaki, że tym razem założenia były bardzo odbiegające od normy.

Sondowanie może być trudne.

Istnieje wiele źródeł błędów odpytywania:

• Niektóre osoby są trudne do osiągnięcia

  Koryguje się to, przeprowadzając analizę demograficzną, a następnie korygując odchylenie próbkowania. Jeśli Twoja analiza demograficzna nie odzwierciedla rzeczy, które utrudniają dotarcie do ludzi, ta korekta nie naprawia szkód.

• Ludzie kłamią

  Możesz użyć historycznych stawek, według których ludzie okłamują ankieterów, aby wpłynąć na Twój model. Jako przykład, historycznie ludzie twierdzą, że będą głosować w partii trzeciej znacznie więcej niż w rzeczywistości w dniu wyborów. Twoje poprawki mogą być tutaj błędne.

  Te kłamstwa mogą również popsuć twoje inne poprawki; jeśli kłamią na temat głosowania w ostatnich wyborach, mogą być liczeni jako prawdopodobni wyborcy, nawet jeśli nie są, na przykład.

• Liczą się tylko ludzie, którzy głosują

  Ktoś może uzyskać wiele wsparcia, ale jeśli ich zwolennicy nie pojawią się w dniu wyborów, to się nie liczy. Właśnie dlatego zarejestrowaliśmy modele głosujących, prawdopodobnie głosujących itp. Jeśli te modele są złe, rzeczy nie działają.

• Głosowanie kosztuje

  Wykonywanie ankiet jest drogie, a jeśli nie oczekujesz (powiedzmy), że Michigan się przerzuci, możesz nie sondować go zbyt często. Może to prowadzić do zaskoczenia, gdy stan, który sondowałeś 3 tygodnie przed wyborami, nie wygląda tak jak w dniu wyborów.

• Ludzie zmieniają zdanie

  W ciągu minut, godzin, dni, tygodni lub miesięcy ludzie zmieniają zdanie. Sondowanie na temat „tego, co teraz byś zrobił” niewiele pomoże, jeśli zmienią zdanie, zanim to się liczy. Istnieją modele, które w przybliżeniu zgadują tempo, w jakim ludzie zmieniają zdanie na podstawie sondaży historycznych.

• Herding

  Jeśli wszyscy stwierdzą, że Hillary wynosi +3, a otrzymasz ankietę pokazującą Hillary +11 lub Donald +1, możesz to zadać. Możesz wykonać kolejne przejście i sprawdzić, czy nie powiodła się analiza. Możesz nawet wyrzucić i zrobić kolejną ankietę. Kiedy otrzymasz ankietę Hillary +2 lub +4, możesz tego nie zrobić. Ogromne wartości odstające, nawet jeśli model statystyczny mówi, że czasem się zdarza, może sprawić, że „źle wyglądasz”.

  Szczególnie żałosna forma tego zdarzyła się w dniu wyborów, gdzie wszyscy, którzy opublikowali ankietę, magicznie zbliżyli się do tej samej wartości; prawdopodobnie są tam wyniki wybitnych ankiet, ale nikt nie chce być tym, który powiedział (powiedzmy) Hillary +11 dzień przed tymi wyborami. Błąd w stadzie mniej boli cię.

• Oczekiwany błąd próbkowania

  Jeśli masz 1 milion osób i zapytasz 100 całkowicie przypadkowych osób, a połowa mówi „Apple”, a połowa mówi „Orange”, oczekiwany błąd, jaki można uzyskać z próbkowania, wynosi +/- 10 lub więcej, nawet jeśli żaden z powyższych problemów pojawić się. Ten ostatni bit jest co ankiety opisać jako ich marginesem błędu. Ankiety rzadko opisują, co powyższe czynniki korekcyjne mogłyby wprowadzić jako błąd.

Nate Silver w 538 roku był jednym z niewielu agregatorów odpytywania, w których zastosowano konserwatywne (ostrożne) sposoby radzenia sobie z możliwością wystąpienia powyższych rodzajów błędów. Zwrócił uwagę na możliwość wystąpienia systemowych błędów skorelowanych w modelach odpytywania.

Podczas gdy inni agregatorzy przewidywali, że wybrano 90% szansy na HC, Nate Silver stwierdził 70%, ponieważ ankiety były w „normalnym błędzie odpytywania” zwycięstwa Donalda.

Była to historyczna miara błędu modelu , w przeciwieństwie do surowego statystycznego błędu próbkowania; co jeśli model i poprawki do modelu były nieprawidłowe?

Ludzie wciąż chrupią liczby. Jednak wstępne wyniki wskazują, że dużą jego część stanowiły modele frekwencji. Zwolennicy Donalda pojawili się w ankietach w większej liczbie, a kibice Hillary w mniejszej liczbie, niż wskazywały modele ankiet (i ankiety zakończone!).

Latynos głosował więcej na Donalda niż oczekiwano. Czarni głosowali więcej na Donalda niż oczekiwano. (Większość z nich głosowała na Hillary). Białe kobiety głosowały na Donalda więcej niż oczekiwano (więcej głosowało na Donalda niż Hillary, czego nie oczekiwano).

Frekwencja wyborcza była ogólnie niska. Demokraci zazwyczaj wygrywają, gdy jest wysoka frekwencja wyborcza, a republikanie - gdy jest niska.

Zostało to wspomniane w komentarzach do przyjętej odpowiedzi (czapka dla Mehrdada ), ale myślę, że należy to podkreślić. 538 faktycznie zrobiło to całkiem dobrze w tym cyklu ^* .

538 to agregator odpytywania, który uruchamia modele dla każdego stanu, aby spróbować przewidzieć zwycięzcę. Ich ostatni bieg dał Trumpowi około 30% szans na wygraną. Oznacza to, że jeśli przeprowadziłeś trzy wybory z takimi danymi, spodziewałbyś się, że Drużyna Czerwona wygra jedno z nich. To nie jest tak mała szansa. Jest to z pewnością wystarczająco duży, że podjąłem środki ostrożności (np. W piątek, zanim poprosiłem o środę 9 dnia wolnego w pracy, biorąc pod uwagę prawdopodobieństwo, że będzie wystarczająco blisko, aby być późną nocą).

Jedna rzecz 538 powie ci, że jeśli się tam spotkasz, jest to, że jeśli ankiety są wyłączone, istnieje duża szansa, że ​​wszystkie będą w tym samym kierunku. Jest to z kilku powodów.

• Prawdopodobne modele wyborców. Ankiety muszą być dostosowane do rodzajów wyborców, którzy pojawią się w dniu wyborów. Mamy modele historyczne, ale oczywiście nie była to twoja typowa para kandydatów, więc przewidywanie na podstawie danych z przeszłości zawsze będzie trochę bzdurą.
• Późno wybory pasterstwo . Nikt nie chce być sondażem, który najmocniej wybił wybory. Chociaż nie mają nic przeciwko byciu odstającym w środku kampanii, pod koniec wszystkie sondaże mają tendencję do poprawiania się, aby powiedzieć to samo. Jest to jedna z rzeczy, za które obwiniano sondaże, które były tak rażąco nieoczekiwane w wyniku niespodziewanej straty Erica Cantora w 2014 roku, a także za zaskakująco bliskie wyniki wyścigu w Senacie w Wirginii w 2014 roku .

^{* - 538 opublikowało teraz własną analizę . Przeważnie jibes z tym, co powiedziano powyżej, ale warto przeczytać, jeśli chcesz o wiele więcej szczegółów.}

Teraz trochę osobistych spekulacji. Byłem sceptycznie nastawiony do ostatecznych% szans 538 na ostatnie 3 dni. Powód sięga do powyższej drugiej kuli. Rzućmy okiem na historię ich modelu podczas tych wyborów (z ich strony internetowej)

(Niestety etykiety go zaciemniają, ale potem krzywe znów się rozeszły przez ostatnie trzy dni, co daje Clinton więcej niż 70% szans)

Wzorzec, który tu widzimy, to powtarzająca się rozbieżność, po której następuje zanik w kierunku tropu Trumpa. Wszystkie bąbelki Clintona były spowodowane wydarzeniami. Pierwszą z nich były konwencje (zwykle zdarzenie ma kilka dni opóźnienia, zanim zacznie się pojawiać w ankiecie). Druga wydaje się być zapoczątkowana pierwszą debatą, prawdopodobnie wspomaganą przez taśmę TMZ. Potem jest trzeci punkt przegięcia, który zaznaczyłem na zdjęciu.

Stało się to 5 listopada, 3 dni przed wyborami. Jakie wydarzenie to spowodowało? Kilka dni wcześniej była kolejna wymiana wiadomości e-mail, ale to nie powinno działać na korzyść Clintona.

Najlepszym wyjaśnieniem, jakie wtedy mogłem wymyślić, było sondowanie. Minęły tylko 3 dni do wyborów, 2 dni do ostatecznych sondaży, a ankieterzy zaczęliby się martwić o ich ostateczne wyniki. „Konwencjonalna mądrość” tych wszystkich wyborów (o czym świadczą modele zakładów) była łatwym zwycięstwem Clintona. Wydawało się więc wyraźną możliwością, że to wcale nie była prawdziwa odmiana. Gdyby tak było, prawdziwa krzywa od 5 listopada byłaby prawdopodobnie kontynuacją tej do konwergencji.

Oszacowanie krzywej naprzód bez tego podejrzanego końcowego punktu przegięcia wymagałoby lepszego matematyka ode mnie, ale patrząc na to, myślę, że 8 listopada byłby blisko punktu przecięcia . Z przodu lub z tyłu zależy od tego, jak duża część tej krzywej była rzeczywiście rzeczywista.

Teraz nie mogę powiedzieć na pewno, że tak się stało. Istnieją inne bardzo prawdopodobne wyjaśnienia (np .: Trump wyciągnął swoich wyborców o wiele lepiej niż oczekiwał ankieter) Ale to była moja teoria, co się wtedy działo i na pewno okazała się przewidywalna.

Najpierw był Brexit, teraz wybory w USA

Nie tak naprawdę pierwsze, np. Francuskie wybory prezydenckie w 2002 r. „Doprowadziły do ​​poważnych dyskusji na temat technik głosowania”.

Nietrudno więc powiedzieć, że te modele nie spisały się zbyt dobrze.

Syf na wejściu, syf na wyjściu.

Widziałem jedno wytłumaczenie, że wyborcy nie chcieli zidentyfikować się jako zwolennicy Trumpa. Jak model może uwzględniać takie efekty?

Zobacz stronniczość reakcji , a zwłaszcza społeczną pożądliwość . Inne interesujące teksty: cicha większość i efekt Bradleya .

Ankieta USC / LA Times ma pewne dokładne liczby. Przewidywali, że Trump będzie na prowadzeniu. Zobacz ankietę USC / LA Times, która wykazała, co przeoczyły inne ankiety: fala wsparcia Trumpa

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

Mieli także dokładne liczby na 2012 rok.

Możesz przejrzeć: http://graphics.latimes.com/usc-presidential-poll-dashboard/

A NY Times skarżył się na ich wagę: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. HTML

Odpowiedź LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Nie stwierdzono tu wysokiego poziomu. Pracuję w dziedzinie (Monitorowanie i ocena), która jest tak bogata w pseudonauki, jak każda inna nauka społeczna, którą możesz wymienić.

Ale oto umowa, branża wyborcza prawdopodobnie ma dziś „kryzys”, ponieważ źle popełniła prognozy wyborcze w USA, nauki społeczne w ogóle mają „kryzys” powtarzalności, a pod koniec 2000 roku mieliśmy światowy „kryzys” finansowy, ponieważ niektórzy praktykujący uważali, że pochodne kredyty hipoteczne typu sub-prime są prawidłową formą danych finansowych (jeśli dajemy im wątpliwości…).

I wszyscy popełniamy błąd niezależnie od tego. Codziennie widzę najbardziej wątpliwe konstrukty badaczy wykorzystywane jako metody gromadzenia danych, a zatem ostatecznie wykorzystywane jako dane (wszystko od skal quasi-porządkowych po całkowicie wiodące kategorie stałych odpowiedzi). Wydaje się, że bardzo niewielu badaczy zdaje sobie sprawę, że muszą mieć ramy koncepcyjne dla takich konstrukcji, zanim będą w stanie zrozumieć ich wyniki. To tak, jakbyśmy spojrzeli na podejścia do „badań rynku” i postanowili przyjąć tylko najgorsze z ich błędów, z dodatkiem niewielkiej numerologii z boku.

Chcemy być uważani za „naukowców”, ale rygor jest zbyt trudny, aby się tym przejmować, dlatego zbieramy dane na temat śmieci i modlimy się do boga statystyki Lokiego, aby magicznie przerósł aksjomat GIGO.

Ale jak zauważa mocno cytowany pan Feynman:

„Nie ma znaczenia, jak piękna jest twoja teoria, nie ma znaczenia, jak mądry jesteś. Jeśli nie zgadza się z eksperymentem, jest źle ”.

Istnieją lepsze sposoby radzenia sobie z danymi jakościowymi, z którymi często utknęliśmy, ale wymagają one nieco więcej pracy, a te fajne konstrukcje badaczy są często o wiele łatwiejsze do wprowadzenia do SPSS. Wygoda wydaje się przebijać naukę za każdym razem (bez zamierzonej gry słów).

Krótko mówiąc, jeśli nie zaczniemy poważnie podchodzić do jakości surowych danych, myślę, że marnujemy czas i pieniądze wszystkich, w tym własne. Czy więc ktoś chce współpracować nad „inicjatywą na rzecz jakości danych” w odniesieniu do metod nauk społecznych (tak, jest wiele podręczników na ten temat, ale wydaje się, że nikt nie zwraca uwagi na to źródło po egzaminach).

Ten, kto ma najwięcej akademickich grawitacji, może zostać przywódcą! (To nie będę ja.)

Aby wyjaśnić moją odpowiedź tutaj: tak często widzę poważne fundamentalne problemy z „wymyślonymi” typami danych surowych, że chciałbym zasugerować potrzebę rozpoczęcia od samego początku. Więc nawet zanim będziemy się martwić próbkowaniem lub testami, które należy przeprowadzić na danych, musimy przyjrzeć się ważności / ograniczeniom typów danych, które zbieramy w stosunku do proponowanych przez nas modeli. W przeciwnym razie ogólny model predykcyjny jest niepełnie zdefiniowany.

Ankiety mają margines błędu wynoszący 5%, którego tak naprawdę nie można się pozbyć, ponieważ nie jest to błąd przypadkowy, ale błąd. Nawet jeśli uśredniasz w wielu ankietach, nie poprawia się to znacznie. Ma to związek z fałszywie przedstawionymi grupami wyborców, brakiem mobilizacji, niezdolnością do poddania się głosowaniu w dniu roboczym, niechęcią do odpowiedzi, niechęcią do właściwej odpowiedzi , spontanicznymi decyzjami podejmowanymi w ostatniej chwili ... ponieważ ta tendencja jest zwykle „skorelowana” w ankietach nie można się tego pozbyć dzięki większej liczbie ankiet; nie można się go również pozbyć przy większych próbkach; i wydaje się, że nie jesteś w stanie przewidzieć tego nastawienia, ponieważ zmienia się ono zbyt szybko (a my wybieramy prezydentów zbyt rzadko).

Z powodu głupiej zasady „zwycięzca bierze wszystko”, która wciąż występuje w prawie wszystkich stanach, błąd w wysokości 5% może powodować bardzo różne wyniki: Załóżmy, że ankiety zawsze przewidywały 49–51, ale rzeczywisty wynik wynosił 51–49 (więc błąd zaledwie 2%), wynik jest w 100% mniejszy; ponieważ zwycięzca bierze wszystko.

Jeśli spojrzysz na poszczególne stany, większość wyników mieści się w przewidywanych granicach błędu!

Prawdopodobnie najlepsze, co możesz zrobić, to wypróbować to uprzedzenie (+ -5%), zastosować zwycięzcę bierze wszystkie skrajności, a następnie zsumować wyniki. Prawdopodobnie jest to podobne do tego, co zrobił 538; a w 30% próbek Donald Trump wygrał ...

$\small 400,000$

Ostatecznie ujawnił kolosalny brak analizy numerycznej, aby zrekompensować brak wiedzy na ten temat. Ludzie wstydzili się, że wyraźnie przyjmują zwycięskiego kandydata z oczywistych powodów.

Najgorszy model komputerowy mógłby zbliżyć się do wyniku, gdyby ktoś zadał sobie trud przeprowadzenia wstępnej ankiety twarzą w twarz, pukania do drzwi. Oto przykład: Trafalgar Group (bez przynależności i wiedzy innej niż poniżej) miał Trumpa na czele w PA, FL, MI, GA, UT i NV (ten ostatni stan ostatecznie stał się niebieski) na dzień przed wyborami. Jaka była magia?

kombinacja respondentów biorących udział zarówno w standardowym teście głosowania, jak i w teście głosowania [sic], w którym stoją sąsiedzi respondenta. Uwzględnia to uprzedzenia tradycyjnego głosowania, w którym respondenci nie są całkowicie prawdomówni co do swojego stanowiska wobec wysoce kontrowersyjnych kandydatów.

Dość mało zaawansowana technologicznie, w tym brak sprawdzania pisowni, pokazujący w liczbach wiele o ludzkiej naturze. Oto rozbieżność w PA :

Historyczna Pensylwania - do tej pory nie była postrzegana jako ostateczna słoma w klęsce Demokratów zaledwie kilka godzin przed końcową realizacją o godzinie 1:40 w dniu 9 listopada 2016 r .:

Jednym z powodów niedokładności sondażu w wyborach w USA, poza tym niektórzy z jakiegokolwiek powodu nie mówią prawdy, że efekt „zwycięzca bierze wszystko” sprawia, że ​​prognozy są jeszcze łatwiejsze. Różnica 1% w jednym stanie może doprowadzić do całkowitej zmiany stanu i bardzo mocno wpłynąć na cały wynik. Hillary miała więcej wyborców, tak jak Al Gore vs. Bush.

Referendum w sprawie Brexitu nie było zwykłymi wyborami, dlatego też trudniej było je przewidzieć (brak dobrych danych historycznych i wszyscy byli jak wyborcy po raz pierwszy w tej sprawie). Ludzie, którzy przez dziesięciolecia głosowali na tę samą partię, stabilizują prognozy.

(Odpowiadając tylko na to pytanie, ponieważ inne odpowiedzi wydają się obejmować wszystko inne.)

Jeszcze wczoraj o 16:00 czasu PST rynki bukmacherskie nadal faworyzowały Hillary 4 do 1. Rozumiem, że rynki bukmacherskie z prawdziwymi pieniędzmi na linii powinny działać jako zbiór wszystkich dostępnych modeli predykcyjnych.

Nie ... ale pośrednio tak.

Rynki bukmacherskie są tak zaprojektowane, aby bukmacherzy osiągali zyski niezależnie od tego, co się stanie. Powiedzmy na przykład, że obecne kursy wynosiły 1-4 dla Hilary i 3-1 dla Trumpa. Jeśli kolejne dziesięć osób obstawi 10 $ na Hilary, wówczas wzięcie 100 $ będzie kosztowało ich 25 $, jeśli Hilary wygra. Skracają więc Hilary do 1-5 i podnoszą Trumpa do 4-1. Więcej osób obstawia teraz Trumpa i przywraca równowagę. Tj. Opiera się wyłącznie na tym, jak ludzie stawiają zakłady, a nie na ekspertach i modelach prognostycznych.

Ale oczywiście klienci bukmacherów oglądają te ankiety i słuchają tych ekspertów. Słyszeli, że Hilary ma 3% przewagi, martwy certyfikat do wygrania i zdecydowali, że szybkim sposobem na zarobienie 10 $ jest postawienie na nią 40 $ .

Pośrednio eksperci i ankiety zmieniają szanse.

(Niektórzy zauważają też, że wszyscy ich przyjaciele w pracy będą głosować na Trumpa, więc postaw na niego zakład; inni zauważają, że wszystkie posty ich znajomych na Facebooku są pro-Hilary, więc postaw na nią, więc ma to wpływ na rzeczywistość ich w ten sposób.)

Nic dziwnego, że wysiłki te zakończyły się niepowodzeniem, gdy weźmie się pod uwagę rozbieżność między tym, do jakich informacji mają dostęp modele i jakie informacje wpływają na zachowanie kabiny wyborczej. Spekuluję, ale modele prawdopodobnie biorą pod uwagę:

• różnorodne wyniki głosowania przedwyborczego
• pochylenie stanu historycznego (niebieski / czerwony)
• historyczne wyniki poprzednich wyborów z aktualnymi stanami / prognozami stanu

Ale sondaże przedwyborcze są niewiarygodne (widzieliśmy ciągłe niepowodzenia w przeszłości), stany mogą się odwracać, a w naszej historii nie było wystarczającej liczby cykli wyborczych, aby uwzględnić wiele sytuacji, które mogą się pojawić .

Kolejną komplikacją jest zbieżność głosów powszechnych z kolegium wyborczym. Jak widzieliśmy w tych wyborach, głosowanie powszechne może być bardzo bliskie w obrębie jednego państwa, ale gdy państwo zostanie wygrane, wszystkie głosy trafiają do jednego kandydata, dlatego mapa ma tyle czerwieni.

Modele wyborcze nie uwzględniały liczby Libertarian, którzy mogliby przejść z Johnson'a do Trumpa, jeśli chodzi o faktyczne głosowanie. Stany, które wygrał cienką marżą, zostały wygrane na podstawie tego, jaki procent głosów uzyskał Johnson. PA (która zepchnęła Trumpa ponad 270 w noc wyborczą) dała Johnsonowi tylko 2%. NH (który udał się do Clintona) dał Johnsonowi 4% +. Johnson sondował na poziomie 4% -5% w przeddzień wyborów, a dostał około 3% w dniu wyborów.

Dlaczego więc libertarianie nagle zaczęli dzień wyborów? Nikt nie zastanawiał się, jaka jest główna kwestia dla wyborców libertariańskich. Zwykle postrzegają dosłowną interpretację Konstytucji jako kanon. Większość osób, które głosowały na Clintona, nie sądziła, by lekceważenie prawa było wystarczająco wysokim priorytetem do rozważenia. Z pewnością nie wyżej niż wszystko, co nie podobało im się w Trumpie.

Bez względu na to, czy jej problemy prawne były ważne dla innych, czy nie, byłyby ważne dla libertarian. Nadaliby bardzo wysoki priorytet nieobecności w pracy osoby, która w najlepszym wypadku uznała zgodność z prawem za opcjonalną. Tak więc dla wielu z nich trzymanie Clintona na stanowisku byłoby priorytetem wyższym niż stwierdzenie, że filozofia libertariańska jest realną filozofią polityczną.

Wielu z nich może nawet nie lubił Trumpa, ale gdyby myśleli, że byłby bardziej szanujący praworządność niż Clinton, pragmatyzm pozbyłby się zasad dla wielu z nich i spowodowałby zmianę głosu przyszedł czas na głosowanie.

Ankiety nie są trendami historycznymi. Bayesian zapytałby o trendy historyczne. Od Abrahama Lincolna istnieje partia republikańska i partia demokratyczna sprawująca urząd prezydencki. Trend imprezowy zmienia się 16 razy od tego czasu z Wikipedii ma następującą funkcję skumulowanej masy

$x$

To, co sprawiło, że dziennikarze, partia demokratyczna i ankieterzy uważają, że szanse na zwycięstwo liberałów były być może pobożnym życzeniem. Zachowanie może być przewidywalne, w pewnych granicach, ale w tym przypadku Demokraci chcieli, aby ludzie nie głosowali na zmianę, a z historycznego punktu widzenia bardziej prawdopodobne jest, że będzie taka zmiana.

Myślę, że wyniki sondaży zostały ekstrapolowane na skalę publiczną, zakładając, że dane demograficzne będą podobne do danych demograficznych i będą dobrą reprezentacją całej populacji. Na przykład, jeśli 7 na 10 mniejszości poparło Hillary w ankietach, a jeśli mniejszość ta stanowi 30% populacji USA, większość sondaży zakłada, że ​​30% wyborców będzie reprezentowanych przez tę mniejszość i przełoży się na ten 21% zysk dla Hillary. W rzeczywistości biali mężczyźni z klasy średniej i wyższej byli lepiej reprezentowani wśród wyborców. Głosowało mniej niż 50% kwalifikujących się osób, co nie przełożyło się na 50% zniżki na wszystkie płcie, rasy itp.

Albo w sondażach przyjęto idealną randomizację i na tej podstawie oparły się ich modele, ale w rzeczywistości dane wyborców były tendencyjne w stosunku do starszych mężczyzn z klasy średniej i wyższej.

Lub sondaże nie zakładają dokładnie losowości, ale ich parametry ekstrapolacji nie doceniają niejednorodności demografii wyborców.

ETA: Ankiety z poprzednich dwóch wyborów wypadły lepiej ze względu na większą uwagę na głosowanie w grupach, które zwykle nie są dobrze reprezentowane.

HoraceT i CliffAB (przepraszam za długo na komentarze) Obawiam się, że mam całe życie przykładów, które nauczyły mnie również, że muszę bardzo uważać na ich wyjaśnienia, jeśli chcę uniknąć obrażania ludzi. Więc chociaż nie chcę twojej pobłażliwości, proszę o twoją cierpliwość. Tutaj idzie:

Zacznijmy od skrajnego przykładu, widziałem kiedyś zaproponowane pytanie ankietowe, w którym niepiśmienni rolnicy (Azja Południowo-Wschodnia) oszacowali „ekonomiczną stopę zwrotu”. Pomijając na razie opcje odpowiedzi, mamy nadzieję, że wszyscy widzimy, że jest to głupota, ale konsekwentne wyjaśnianie, dlaczego jest głupie, nie jest takie łatwe. Tak, możemy po prostu powiedzieć, że jest głupie, ponieważ respondent nie zrozumie pytania i po prostu odrzuci je jako kwestię semantyczną. Ale to naprawdę nie jest wystarczająco dobre w kontekście badań. Fakt, że pytanie to zostało kiedykolwiek zasugerowane, sugeruje, że badacze mają nieodłączną zmienność tego, co uważają za „głupie”. Aby zająć się tym bardziej obiektywnie, musimy cofnąć się i w przejrzysty sposób zadeklarować odpowiednie ramy dla podejmowania decyzji w takich sprawach. Istnieje wiele takich opcji,

Przyjmijmy zatem, że mamy dwa podstawowe typy informacji, których możemy użyć w analizach: jakościowe i ilościowe. I że oba są powiązane procesem transformacyjnym, tak że wszystkie informacje ilościowe zaczynały się jako informacje jakościowe, ale przechodziły przez następujące (nadmiernie uproszczone) kroki:

1. Ustawienie konwencji (np. Wszyscy zdecydowaliśmy, że [niezależnie od tego, jak indywidualnie to postrzegamy], że wszyscy nazwiemy kolor dziennego otwartego nieba „niebieskim”.)
2. Klasyfikacja (np. Oceniamy wszystko w pokoju według tej konwencji i dzielimy wszystkie elementy na kategorie „niebieskie” lub „nie niebieskie”)
3. Policz (liczymy / wykrywamy „ilość” niebieskich rzeczy w pokoju)

Zauważ, że (w tym modelu) bez kroku 1 nie ma czegoś takiego jak jakość, a jeśli nie zaczniesz od kroku 1, nigdy nie możesz wygenerować znaczącej ilości.

Raz powiedziane, wszystko to wygląda bardzo oczywisto, ale są to takie zestawy pierwszych zasad, które (uważam) są najczęściej pomijane i dlatego powodują „odśmiecanie”.

Tak więc „głupota” w powyższym przykładzie staje się bardzo wyraźnie definiowana jako brak ustanowienia wspólnej konwencji między badaczem a respondentami. Oczywiście jest to skrajny przykład, ale o wiele bardziej subtelne błędy mogą być w równym stopniu generowaniem śmieci. Innym przykładem, jaki widziałem, jest badanie rolników na obszarach wiejskich w Somalii, w którym zapytano: „Jak zmiany klimatu wpłynęły na twoje źródło utrzymania?” Ponownie odkładając na chwilę opcje reakcji, sugerowałbym, że nawet pytając o to rolników na środkowym zachodzie Stany Zjednoczone stanowiłyby poważny brak zastosowania wspólnej konwencji między badaczem a respondentem (tj. co do tego, co jest mierzone jako „zmiana klimatu”).

Teraz przejdźmy do opcji odpowiedzi. Pozwalając respondentom na odpowiedzi na kod własny z zestawu opcji wielokrotnego wyboru lub podobnej konstrukcji, przesuwasz tę kwestię „konwencji” również na ten aspekt pytania. Może to być w porządku, jeśli wszyscy trzymamy się skutecznie „uniwersalnych” konwencji w kategoriach odpowiedzi (np. Pytanie: w jakim mieście mieszkasz? Kategorie odpowiedzi: lista wszystkich miast w obszarze badawczym [plus „nie w tym obszarze”]). Jednak wielu badaczy wydaje się być dumnych z subtelnego dopracowania swoich pytań i kategorii odpowiedzi w celu zaspokojenia ich potrzeb. W tej samej ankiecie, w której pojawiło się pytanie o „stopę zwrotu ekonomicznego”, badacz poprosił również respondentów (biednych mieszkańców wsi) o podanie, do którego sektora gospodarki się przyczynili: z kategoriami odpowiedzi „produkcja”, „usługa”, „produkcja” i „marketing”. Znów pojawia się tutaj kwestia konwencji jakościowej. Ponieważ jednak uczynił odpowiedzi wzajemnie się wykluczającymi, tak że respondenci mogli wybrać tylko jedną opcję (ponieważ „łatwiej jest w ten sposób zasilić SPSS”), a rolnicy wiejscy rutynowo produkują uprawy, sprzedają swoją pracę, wytwarzają rękodzieło i zabierają wszystko, aby na lokalnych rynkach, ten konkretny badacz nie tylko miał problem z konwencją ze swoimi respondentami, ale miał problem z samą rzeczywistością.

Właśnie dlatego stare nudziarze, jak ja, zawsze zalecają bardziej pracochłonne podejście do kodowania danych po zebraniu danych - ponieważ przynajmniej możesz odpowiednio przeszkolić programistów w konwencjach prowadzonych przez badaczy (i pamiętaj, że próbując przekazać takie konwencje respondentom w „ instrukcje ankiety ”to gra z kubkiem - na razie tylko mi zaufaj). Zauważ także, że jeśli zaakceptujesz powyższy „model informacyjny” (który, jak twierdzę, nie twierdzę, że musisz), to również pokazuje, dlaczego skale quasi-porządkowe mają złą reputację. Nie są to tylko podstawowe zagadnienia matematyczne zgodnie z konwencją Stevena (tzn. Musisz zdefiniować sensowne pochodzenie nawet dla porządków, nie możesz ich dodawać i uśredniać itp.), jest również tak, że często nigdy nie przeszli przez żaden przejrzysty i logicznie spójny proces transformacyjny, który sprowadzałby się do „kwantyfikacji” (tj. rozszerzonej wersji modelu zastosowanego powyżej, która obejmuje również generowanie „wielkości porządkowych” [- to nie jest trudne do zrobienia]). W każdym razie, jeśli nie spełnia on wymagań informacji jakościowych lub ilościowych, wówczas badacz twierdzi, że odkrył nowy rodzaj informacji poza ramami, a zatem na nich spoczywa obowiązek pełnego wyjaśnienia jego podstawowej podstawy pojęciowej ( tzn. przejrzyste zdefiniowanie nowych ram).

Na koniec spójrzmy na problemy z próbkowaniem (i myślę, że jest to zgodne z niektórymi innymi odpowiedziami już tutaj). Na przykład, jeśli badacz chce zastosować konwencję, która stanowi „liberalnego” wyborcę, musi być pewien, że informacje demograficzne, których używają do wyboru systemu pobierania próbek, są zgodne z tą konwencją. Poziom ten jest zwykle najłatwiejszy do zidentyfikowania i pokonania, ponieważ jest w dużej mierze pod kontrolą badacza i jest najczęściej rodzajem przyjętej konwencji jakościowej, która jest w sposób przejrzysty zadeklarowana w badaniach. Dlatego też jest to poziom zwykle dyskutowany lub krytykowany, podczas gdy bardziej fundamentalne kwestie pozostają nierozwiązane.

Podczas gdy ankieterzy trzymają się pytań typu „na kogo planujesz głosować w tym momencie?”, Prawdopodobnie nadal mamy się dobrze, ale wielu z nich chce uzyskać o wiele „bardziej uprzejme” niż to…