Wyniki wyborów w USA 2016: Co poszło nie tak z modelami prognostycznymi?

108

Najpierw był Brexit , teraz wybory w USA. Wiele prognoz modelowych zostało znacznie zmniejszonych i czy można się z nich wyciągnąć wnioski? Jeszcze wczoraj o 16:00 czasu PST rynki bukmacherskie nadal faworyzowały Hillary od 4 do 1.

Uważam, że rynki bukmacherskie z prawdziwymi pieniędzmi na linii powinny działać jako zestaw wszystkich dostępnych modeli predykcyjnych. Nietrudno więc powiedzieć, że te modele nie spisały się zbyt dobrze.

Widziałem jedno wytłumaczenie, że wyborcy nie chcieli identyfikować się jako zwolennicy Trumpa. Jak model może uwzględniać takie efekty?

Jednym z wyjaśnień makro, które przeczytałem, jest wzrost populizmu . Powstaje zatem pytanie, w jaki sposób model statystyczny może uchwycić taki trend makro?

Czy te modele prognostyczne kładą zbyt duży nacisk na dane z ankiet i nastrojów, niewystarczająco z tego, gdzie stoi kraj w widoku na 100 lat? Cytuję komentarze znajomego.

horaceT
źródło
9
Jak oszacować „niechęć do identyfikowania się jako zwolennik Trumpa”. efekt: Może grupy fokusowe? To bardziej pytanie z zakresu nauk społecznych niż statystyki jako takie.
kjetil b halvorsen
100
Dlaczego modele muszą się mylić tylko dlatego, że przewidują wynik, który nie nastąpił? Mam model, który mówi, że kostka prawdopodobnie nie pokaże szóstki, ale czasami i tak pokazuje szóstkę.
dsaxton,
4
Nie jestem pewien, czy modele naprawdę mocno oparły się na niewłaściwej stronie. Czy poprawnie odczytaliśmy dane wyjściowe modeli? Zgadzam się również z komentarzem dsaxton.
Richard Hardy,
7
Kilka dobrych przemyśleń na blogu Andrew Gelmana tutaj .
Richard Hardy
22
Jeśli szanse wyniosłyby 4: 1, mniej powszechny wynik powinien nadal występować często. To znaczy, że rynki bukmacherskie mogły mieć rację.
gung

Odpowiedzi:

57

Krótko mówiąc, odpytywanie nie zawsze jest łatwe. Te wybory mogły być najtrudniejsze.

Za każdym razem, gdy próbujemy dokonać wnioskowania statystycznego, podstawowym pytaniem jest, czy nasza próbka stanowi dobrą reprezentację zainteresowanej populacji. Typowe założenie, które jest wymagane w przypadku wielu rodzajów wnioskowania statystycznego, polega na tym, że nasza próbka jest całkowicie losową próbką z interesującej populacji (i często potrzebujemy również próbek, aby były niezależne). Jeśli te założenia są prawdziwe, zazwyczaj mamy dobre miary niepewności oparte na teorii statystycznej.

Ale definitywnie nie mamy tych założeń, które są prawdziwe w sondażach! Mamy dokładnie 0 próbek z naszej populacji: rzeczywiste głosy oddane w dniu wyborów. W takim przypadku nie możemy dokonać żadnego prawidłowego wnioskowania bez dalszych, niesprawdzalnych założeń dotyczących danych. A przynajmniej niestabilne aż do dnia wyborów.

Czy całkowicie się poddajemy i mówimy „50% –50%!”? Zazwyczaj nie. Możemy próbować przyjąć, jak uważamy, rozsądne założenia dotyczące sposobu oddawania głosów. Może na przykład chcemy wierzyć, że sondaże są obiektywnymi szacunkami głosów w dniu wyborów, a także pewnym pewnym obiektywnym hałasem czasowym (tj. Ewoluującą opinią publiczną w miarę upływu czasu). Nie jestem ekspertem od metod odpytywania, ale wierzę, że jest to typ modelu 538. A w 2012 roku działało całkiem dobrze. Więc te założenia były prawdopodobnie całkiem rozsądne. Niestety, nie ma realnego sposobu oceny tych założeń poza uzasadnieniem ściśle jakościowym. Więcej dyskusji na podobny temat można znaleźć w temacie Zaginięcia, którego nie można zapomnieć.

Moja teoria, dlaczego sondaże wypadły tak słabo w 2016 r .: ankiety nie były obiektywnymi szacunkami zachowania w dniu głosowania. Sądzę, że zwolennicy Trumpa (i prawdopodobnie także zwolennicy Brexitu) byli znacznie bardziej nieufni wobec ankieterów. Pamiętaj, że pan Trump aktywnie potępił ankiety. W związku z tym uważam, że zwolennicy Trumpa raczej nie zgłaszali zamiarów głosowania ankieterom niż zwolennikom jego przeciwników. Spekulowałbym, że spowodowało to nieprzewidziane ciężkie nastawienie w sondażach.

Jak analitycy mogliby to uwzględnić, korzystając z danych ankiety? Na podstawie samych danych ankiety nie ma realnego sposobu na wykonanie tego w sposób ilościowy. Dane ankiety nie mówią nic o tych, którzy nie brali udziału. Można jednak poprawić sondaże w sposób jakościowy, wybierając bardziej rozsądne (ale niestabilne) założenia dotyczące relacji między danymi z ankiet a zachowaniem w dniu wyborów. To nie jest trywialne i naprawdę trudna część bycia dobrym ankieciem (uwaga: nie jestem ankieterem). Zwróć też uwagę, że wyniki były również bardzo zaskakujące dla ekspertów, więc nie było tak, że były oczywiste oznaki, że tym razem założenia były bardzo odbiegające od normy.

Sondowanie może być trudne.

Cliff AB
źródło
1
@horaceT: skąd mieliby wiedzieć, że istniały uprzedzenia, dopóki nie uzyskali próbek z interesującej populacji? Jednym ze zmarszczek jest to, że historycznie zgaduję, że ten problem dotyczy hałasu zamiast uprzedzeń . Jeśli obie strony mają równy poziom braku odpowiedzi, twoje szacunki będą obiektywne, tylko nieco bardziej hałaśliwe. Ale ponieważ Trump prowadził kampanię z bardzo negatywnymi opiniami o mediach i sondażach, o wiele bardziej niż w poprzednich wyborach, brak odpowiedzi mógłby łatwo zostać zniekształcony w kierunku reprezentowania głosów Trumpa. Byłby to efekt, który ankieterzy mieliby ...
Cliff AB
38
Co do tego, co jest warte, nadal nie sądzę, że 538 naprawdę zawiodło. Dało to około ~ 30% szansy (?) Na wygraną Trumpa, co jest cholernie dobre - oznacza to, że za każde 2-3 razy, kiedy miałoby to być poprawne, oczekiwano, że będzie źle. To ogromna niepewność, o wiele większa niż inne ankiety zdawały się przyznawać.
Mehrdad
3
Ten efekt jest dobrze znany: nazywa się go efektem Bradleya w USA, a efektem Shy Tory w Wielkiej Brytanii.
Emilio Pisanty,
15
538 (i inne rzeczy, takie jak PEC Sam Wanga) nie są ankietami. Są to modele zbudowane na podstawie wyników ankiety. Wszystkie te modele zaczęły się od tych samych danych, ale 538 przewidywało znacznie więcej niepewności w wynikach z powodów, które Nate Silver obszernie omawiał przed wyborami. Oznaczało to, że szansa 538 na zwycięstwo Hillary była znacznie niższa, mimo że korzystała z tych samych ankiet. Zgadzam się, że 538 nie zawiodło - biorąc pod uwagę jego wkład, zwycięstwo Hillary z dużą niepewnością wydaje się najlepszą prognozą nawet z perspektywy czasu.
KAI,
6
Najpierw przeczytałem ostateczną prognozę 538 rano po wyborach, a Nate Silver dość wyraźnie stwierdza, że ​​margines błędu wynoszący 3% byłby dobrze w zwykłym zakresie - i jeśli spojrzysz na jego wykres błędu wynoszącego 3% na korzyść Trumpa, całkiem dobrze pokrywa się z tym, co się faktycznie wydarzyło.
Xiong Chiamiov
35

Istnieje wiele źródeł błędów odpytywania:

  • Niektóre osoby są trudne do osiągnięcia

    Koryguje się to, przeprowadzając analizę demograficzną, a następnie korygując odchylenie próbkowania. Jeśli Twoja analiza demograficzna nie odzwierciedla rzeczy, które utrudniają dotarcie do ludzi, ta korekta nie naprawia szkód.

  • Ludzie kłamią

    Możesz użyć historycznych stawek, według których ludzie okłamują ankieterów, aby wpłynąć na Twój model. Jako przykład, historycznie ludzie twierdzą, że będą głosować w partii trzeciej znacznie więcej niż w rzeczywistości w dniu wyborów. Twoje poprawki mogą być tutaj błędne.

    Te kłamstwa mogą również popsuć twoje inne poprawki; jeśli kłamią na temat głosowania w ostatnich wyborach, mogą być liczeni jako prawdopodobni wyborcy, nawet jeśli nie są, na przykład.

  • Liczą się tylko ludzie, którzy głosują

    Ktoś może uzyskać wiele wsparcia, ale jeśli ich zwolennicy nie pojawią się w dniu wyborów, to się nie liczy. Właśnie dlatego zarejestrowaliśmy modele głosujących, prawdopodobnie głosujących itp. Jeśli te modele są złe, rzeczy nie działają.

  • Głosowanie kosztuje

    Wykonywanie ankiet jest drogie, a jeśli nie oczekujesz (powiedzmy), że Michigan się przerzuci, możesz nie sondować go zbyt często. Może to prowadzić do zaskoczenia, gdy stan, który sondowałeś 3 tygodnie przed wyborami, nie wygląda tak jak w dniu wyborów.

  • Ludzie zmieniają zdanie

    W ciągu minut, godzin, dni, tygodni lub miesięcy ludzie zmieniają zdanie. Sondowanie na temat „tego, co teraz byś zrobił” niewiele pomoże, jeśli zmienią zdanie, zanim to się liczy. Istnieją modele, które w przybliżeniu zgadują tempo, w jakim ludzie zmieniają zdanie na podstawie sondaży historycznych.

  • Herding

    Jeśli wszyscy stwierdzą, że Hillary wynosi +3, a otrzymasz ankietę pokazującą Hillary +11 lub Donald +1, możesz to zadać. Możesz wykonać kolejne przejście i sprawdzić, czy nie powiodła się analiza. Możesz nawet wyrzucić i zrobić kolejną ankietę. Kiedy otrzymasz ankietę Hillary +2 lub +4, możesz tego nie zrobić. Ogromne wartości odstające, nawet jeśli model statystyczny mówi, że czasem się zdarza, może sprawić, że „źle wyglądasz”.

    Szczególnie żałosna forma tego zdarzyła się w dniu wyborów, gdzie wszyscy, którzy opublikowali ankietę, magicznie zbliżyli się do tej samej wartości; prawdopodobnie są tam wyniki wybitnych ankiet, ale nikt nie chce być tym, który powiedział (powiedzmy) Hillary +11 dzień przed tymi wyborami. Błąd w stadzie mniej boli cię.

  • Oczekiwany błąd próbkowania

    Jeśli masz 1 milion osób i zapytasz 100 całkowicie przypadkowych osób, a połowa mówi „Apple”, a połowa mówi „Orange”, oczekiwany błąd, jaki można uzyskać z próbkowania, wynosi +/- 10 lub więcej, nawet jeśli żaden z powyższych problemów pojawić się. Ten ostatni bit jest co ankiety opisać jako ich marginesem błędu. Ankiety rzadko opisują, co powyższe czynniki korekcyjne mogłyby wprowadzić jako błąd.


Nate Silver w 538 roku był jednym z niewielu agregatorów odpytywania, w których zastosowano konserwatywne (ostrożne) sposoby radzenia sobie z możliwością wystąpienia powyższych rodzajów błędów. Zwrócił uwagę na możliwość wystąpienia systemowych błędów skorelowanych w modelach odpytywania.

Podczas gdy inni agregatorzy przewidywali, że wybrano 90% szansy na HC, Nate Silver stwierdził 70%, ponieważ ankiety były w „normalnym błędzie odpytywania” zwycięstwa Donalda.

Była to historyczna miara błędu modelu , w przeciwieństwie do surowego statystycznego błędu próbkowania; co jeśli model i poprawki do modelu były nieprawidłowe?


Ludzie wciąż chrupią liczby. Jednak wstępne wyniki wskazują, że dużą jego część stanowiły modele frekwencji. Zwolennicy Donalda pojawili się w ankietach w większej liczbie, a kibice Hillary w mniejszej liczbie, niż wskazywały modele ankiet (i ankiety zakończone!).

Latynos głosował więcej na Donalda niż oczekiwano. Czarni głosowali więcej na Donalda niż oczekiwano. (Większość z nich głosowała na Hillary). Białe kobiety głosowały na Donalda więcej niż oczekiwano (więcej głosowało na Donalda niż Hillary, czego nie oczekiwano).

Frekwencja wyborcza była ogólnie niska. Demokraci zazwyczaj wygrywają, gdy jest wysoka frekwencja wyborcza, a republikanie - gdy jest niska.

Jak
źródło
1
Ciekawym problemem frekwencji jest to, że sama ankieta wpływa na frekwencję. Czy istnieje model frekwencji? Powinna istnieć możliwość wprowadzenia funkcji, która przyjmuje przewidywaną frekwencję w ankiecie i modyfikuje ją dla obu stron zgodnie z perspektywą kandydata. Kandydat daleko w tyle może nie pozyskać dodatkowych wyborców, którzy są bardziej zaniepokojeni po tym, jak ankieta opisuje perspektywy kandydata jako tragiczne, ale jeśli twój kandydat jest daleko przed tobą, możesz nie ciężko pracować, aby dostać się do głosowania ... To oczywiście nie jest funkcja liniowa, ale powinna być mierzalna.
BenPen,
2
+1 ode mnie tylko za wspomnienie o stadzie i dobre wyjaśnienie. Gdy przejrzałem swoją odpowiedź, byłem bardzo podejrzany, że stado może mieć miejsce od około 5 (3 dni od wyborów) na podstawie wykresu 538. Zgaduję, że dowiemy się więcej o tym, jakie błędy naprawdę były w nadchodzących dniach. (Wiesz, że jesteś kujonem, gdy obsesyjnie odświeżasz stronę internetową, aby rozważyć drugą pochodną krzywej graficznej).
TED,
Nie wiem, jak to wytłumaczysz, ale myślę, że z Trumpem wiąże się piętno, które utrudniłoby właściwe oszacowanie jego faktycznego wsparcia i pojawiłoby się tylko w faktycznych wynikach wyborów. Lubię myśleć o tym jak o naklejce na zderzak: George W. Bush i Obama byli obaj prezydentami 2 kadencji, ale podczas gdy naklejka na zderzak Obamy jest szeroko rozpowszechniona i ozdobiona samochodami z dumą, naklejka na zderzak Busha była jak czterolistna koniczyna. Są niektórzy kandydaci, w których otwarte wsparcie zużywa zbyt dużo ciepła i witriolu od opozycji, a wsparcie jest bardzo niskie.
coburne
3
@cururne Nie było na to dowodów w pierwotnych; Zwolennicy Trumpa nie zawahają się. Naklejki na zderzak Busha były popularne w innych obszarach niż naklejki na zderzaki Obama.
Jak
@coburne - To, o czym mówisz, nazywa się Efekt Bradleya . Toczy się ogromna debata na temat tego, czy w ogóle istnieje. Było jednak jedno badanie, które podobno potwierdziło swoją siłę w przybliżeniu proporcjonalnie do tego, ile retoryki na tle rasowym wykorzystano w kampanii. Nie wydaje mi się, żeby było dużo dyskusji, że wiele z nich wykorzystano w tej.
TED
31

Zostało to wspomniane w komentarzach do przyjętej odpowiedzi (czapka dla Mehrdada ), ale myślę, że należy to podkreślić. 538 faktycznie zrobiło to całkiem dobrze w tym cyklu * .

538 to agregator odpytywania, który uruchamia modele dla każdego stanu, aby spróbować przewidzieć zwycięzcę. Ich ostatni bieg dał Trumpowi około 30% szans na wygraną. Oznacza to, że jeśli przeprowadziłeś trzy wybory z takimi danymi, spodziewałbyś się, że Drużyna Czerwona wygra jedno z nich. To nie jest tak mała szansa. Jest to z pewnością wystarczająco duży, że podjąłem środki ostrożności (np. W piątek, zanim poprosiłem o środę 9 dnia wolnego w pracy, biorąc pod uwagę prawdopodobieństwo, że będzie wystarczająco blisko, aby być późną nocą).

Jedna rzecz 538 powie ci, że jeśli się tam spotkasz, jest to, że jeśli ankiety są wyłączone, istnieje duża szansa, że ​​wszystkie będą w tym samym kierunku. Jest to z kilku powodów.

  • Prawdopodobne modele wyborców. Ankiety muszą być dostosowane do rodzajów wyborców, którzy pojawią się w dniu wyborów. Mamy modele historyczne, ale oczywiście nie była to twoja typowa para kandydatów, więc przewidywanie na podstawie danych z przeszłości zawsze będzie trochę bzdurą.
  • Późno wybory pasterstwo . Nikt nie chce być sondażem, który najmocniej wybił wybory. Chociaż nie mają nic przeciwko byciu odstającym w środku kampanii, pod koniec wszystkie sondaże mają tendencję do poprawiania się, aby powiedzieć to samo. Jest to jedna z rzeczy, za które obwiniano sondaże, które były tak rażąco nieoczekiwane w wyniku niespodziewanej straty Erica Cantora w 2014 roku, a także za zaskakująco bliskie wyniki wyścigu w Senacie w Wirginii w 2014 roku .

* - 538 opublikowało teraz własną analizę . Przeważnie jibes z tym, co powiedziano powyżej, ale warto przeczytać, jeśli chcesz o wiele więcej szczegółów.


Teraz trochę osobistych spekulacji. Byłem sceptycznie nastawiony do ostatecznych% szans 538 na ostatnie 3 dni. Powód sięga do powyższej drugiej kuli. Rzućmy okiem na historię ich modelu podczas tych wyborów (z ich strony internetowej)

wprowadź opis zdjęcia tutaj

(Niestety etykiety go zaciemniają, ale potem krzywe znów się rozeszły przez ostatnie trzy dni, co daje Clinton więcej niż 70% szans)

Wzorzec, który tu widzimy, to powtarzająca się rozbieżność, po której następuje zanik w kierunku tropu Trumpa. Wszystkie bąbelki Clintona były spowodowane wydarzeniami. Pierwszą z nich były konwencje (zwykle zdarzenie ma kilka dni opóźnienia, zanim zacznie się pojawiać w ankiecie). Druga wydaje się być zapoczątkowana pierwszą debatą, prawdopodobnie wspomaganą przez taśmę TMZ. Potem jest trzeci punkt przegięcia, który zaznaczyłem na zdjęciu.

Stało się to 5 listopada, 3 dni przed wyborami. Jakie wydarzenie to spowodowało? Kilka dni wcześniej była kolejna wymiana wiadomości e-mail, ale to nie powinno działać na korzyść Clintona.

Najlepszym wyjaśnieniem, jakie wtedy mogłem wymyślić, było sondowanie. Minęły tylko 3 dni do wyborów, 2 dni do ostatecznych sondaży, a ankieterzy zaczęliby się martwić o ich ostateczne wyniki. „Konwencjonalna mądrość” tych wszystkich wyborów (o czym świadczą modele zakładów) była łatwym zwycięstwem Clintona. Wydawało się więc wyraźną możliwością, że to wcale nie była prawdziwa odmiana. Gdyby tak było, prawdziwa krzywa od 5 listopada byłaby prawdopodobnie kontynuacją tej do konwergencji.

Oszacowanie krzywej naprzód bez tego podejrzanego końcowego punktu przegięcia wymagałoby lepszego matematyka ode mnie, ale patrząc na to, myślę, że 8 listopada byłby blisko punktu przecięcia . Z przodu lub z tyłu zależy od tego, jak duża część tej krzywej była rzeczywiście rzeczywista.

Teraz nie mogę powiedzieć na pewno, że tak się stało. Istnieją inne bardzo prawdopodobne wyjaśnienia (np .: Trump wyciągnął swoich wyborców o wiele lepiej niż oczekiwał ankieter) Ale to była moja teoria, co się wtedy działo i na pewno okazała się przewidywalna.

PRZETRZĄSAĆ
źródło
1
Myślę, że ta dziwna odmiana ankiety w ciągu ostatnich kilku dni powinna być lepiej przeanalizowana, ale zwolennicy Clintona zobaczyli to, co chcieli zobaczyć, a zwolennicy Trumpa dawno przestali słuchać ankiet. Mam nadzieję, że ktoś to teraz zrobi.
TED,
Myślałem, że ostatnie dni nieco się znormalizowały ze względu na oświadczenie Comey, że nowe e-maile nie stanowią powodu do wznowienia śledztwa karnego.
Konrad Rudolph,
@KonradRudolph - takie wyjaśnienie usłyszałem w tamtym czasie. Problem polega na tym, że wypowiedź ta pojawiła się dopiero 6 listopada, a podejrzany punkt przegięcia sondowania nastąpił dzień wcześniej (patrz znacznik na powyższym obrazku). Ponadto czas jest niewłaściwy, ponieważ upuszczenie zostało całkowicie wyjaśnione przez Comey, więc nie ma logicznego powodu, aby jego oświadczenie „nevermind” mogło go zatrzymać (a tym bardziej odwrócić).
TED,
2
Problem z 538 polega nie tyle na ich modelu, co na jakości danych odpytywania, które do niego trafiły. Dane wyjaśniają, że nie był to przypadek błędu próbkowania (który jest dość mały, gdy uśredniasz sondaże, że każdy ma przyzwoitą wielkość próby). washparkprophet.blogspot.com/2016/11/what-polls-got-wrong.html Zamiast tego problemem jest albo tendencyjne próbkowanie lwią część ankiet, albo systemowa nieprawda od respondentów ankiety (z powodu społecznej dezaprobaty Trumpa) lub obie. Ale 538 otrzymuje uznanie za uznanie w ich modelu, że ankiety w różnych stanach nie są niezależne.
ohwilleke,
@ohwilleke - Racja. Jak powiedziała jedna z pozostałych odpowiedzi, GIGO. Uznałem, że to prawdopodobnie dzieje się z tym dziwnym, niewyjaśnionym punktem przegięcia. Pytanie jest źródłem „śmieci” w sondażach wejściowych.
TED
17

Najpierw był Brexit, teraz wybory w USA

Nie tak naprawdę pierwsze, np. Francuskie wybory prezydenckie w 2002 r. „Doprowadziły do ​​poważnych dyskusji na temat technik głosowania”.

Nietrudno więc powiedzieć, że te modele nie spisały się zbyt dobrze.

Syf na wejściu, syf na wyjściu.

Widziałem jedno wytłumaczenie, że wyborcy nie chcieli zidentyfikować się jako zwolennicy Trumpa. Jak model może uwzględniać takie efekty?

Zobacz stronniczość reakcji , a zwłaszcza społeczną pożądliwość . Inne interesujące teksty: cicha większość i efekt Bradleya .

Franck Dernoncourt
źródło
2
Jasne, śmieci się wyrzucają. Ale jak rozpoznać, że predyktory były śmieciami i zrobić „selekcję zmiennych”, aby je wykorzystać?
horaceT
6
@horaceT, jak widać, jest to bardzo trudne i czasami może być niemożliwe. FiveThirtyEight.com miał bardzo przyzwoitą metodologię i model wysokiej jakości, wykorzystując różnorodne dane i korygując wiele błędów. Dzień przed wyborami dawało 71,4% prawdopodobieństwa, że ​​Hilary Clinton wygra ...
Tim
1
@horaceT Chciałbym skupić się na gromadzeniu danych, ponieważ wydaje się, że to jest problem. Strona stronniczości społecznej potrzeby zawiera kilka pomysłów na jej ulepszenie.
Franck Dernoncourt
1
@horaceT zresztą, gdyby prawie każda pula mówiła, że ​​Clinton prowadzi tylko szaleniec, argumentowałby, że wszyscy się mylą ... Bardzo trudno byłoby uzasadnić taki model.
Tim
1
Byłbym ciekawy, jak dokładne są prognozy sondaży dotyczące frekwencji wyborczej (np. Na podstawie danych demograficznych). Mógłbym sobie wyobrazić, że jeśli wiele sondaży przewiduje „znaczącą przewagę”, frekwencja mogłaby zostać stłumiona (np. Podobnie do efektu obserwatora )?
GeoMatt22,
12

Ankieta USC / LA Times ma pewne dokładne liczby. Przewidywali, że Trump będzie na prowadzeniu. Zobacz ankietę USC / LA Times, która wykazała, co przeoczyły inne ankiety: fala wsparcia Trumpa

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

wprowadź opis zdjęcia tutaj

Mieli także dokładne liczby na 2012 rok.

Możesz przejrzeć: http://graphics.latimes.com/usc-presidential-poll-dashboard/

A NY Times skarżył się na ich wagę: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. HTML

Odpowiedź LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Jon
źródło
26
W tej ankiecie Trump wygrał popularny głos o 3,2%, ale wydaje się, że Clinton wygrał o .1%. Więc nie rozumiem, jak można powiedzieć, że mieli dokładne liczby.
Winston Ewert,
3
Tylko drobna uwaga - czy naprawdę spodziewałbyś się, że jakieś statystyki mieszczą się w granicach mniej niż 3,2% okna błędu?
AnoE
9
Problemy z tą ankietą jako przykładem są: 1) Odpytywanie niewłaściwej rzeczy. Głosowanie społeczne jest powiązane z wygraną Prezydencji, ale nie o to zdecydowano. 2) Doszło grzbietu źle . Clinton wygrał to, co mierzy, a nie Trump. 3) To było w tych samych 3ish punktach, które były w większości innych sondaży, tylko w innym kierunku.
TED,
5
... właściwie wygląda na to, że Clinton może skończyć o pełny punkt przed Trumpem w głosowaniu powszechnym, co oznacza, że ​​ta ankieta zakończyła się wynikiem 4, a nie 3. Więc teoretycznie podobna ankieta, która wygrałaby o 3 punkty, miałaby był dwa razy dokładniejszy niż ten (tylko o 2 punkty zamiast 4).
TED,
8
LA Times ankieta była poprawna przez przypadek : nadmierną wagę 19-letni Czołowy się pod głosowanie ważone biały wiejski.
Mark
11

Nie stwierdzono tu wysokiego poziomu. Pracuję w dziedzinie (Monitorowanie i ocena), która jest tak bogata w pseudonauki, jak każda inna nauka społeczna, którą możesz wymienić.

Ale oto umowa, branża wyborcza prawdopodobnie ma dziś „kryzys”, ponieważ źle popełniła prognozy wyborcze w USA, nauki społeczne w ogóle mają „kryzys” powtarzalności, a pod koniec 2000 roku mieliśmy światowy „kryzys” finansowy, ponieważ niektórzy praktykujący uważali, że pochodne kredyty hipoteczne typu sub-prime są prawidłową formą danych finansowych (jeśli dajemy im wątpliwości…).

I wszyscy popełniamy błąd niezależnie od tego. Codziennie widzę najbardziej wątpliwe konstrukty badaczy wykorzystywane jako metody gromadzenia danych, a zatem ostatecznie wykorzystywane jako dane (wszystko od skal quasi-porządkowych po całkowicie wiodące kategorie stałych odpowiedzi). Wydaje się, że bardzo niewielu badaczy zdaje sobie sprawę, że muszą mieć ramy koncepcyjne dla takich konstrukcji, zanim będą w stanie zrozumieć ich wyniki. To tak, jakbyśmy spojrzeli na podejścia do „badań rynku” i postanowili przyjąć tylko najgorsze z ich błędów, z dodatkiem niewielkiej numerologii z boku.

Chcemy być uważani za „naukowców”, ale rygor jest zbyt trudny, aby się tym przejmować, dlatego zbieramy dane na temat śmieci i modlimy się do boga statystyki Lokiego, aby magicznie przerósł aksjomat GIGO.

Ale jak zauważa mocno cytowany pan Feynman:

„Nie ma znaczenia, jak piękna jest twoja teoria, nie ma znaczenia, jak mądry jesteś. Jeśli nie zgadza się z eksperymentem, jest źle ”.

Istnieją lepsze sposoby radzenia sobie z danymi jakościowymi, z którymi często utknęliśmy, ale wymagają one nieco więcej pracy, a te fajne konstrukcje badaczy są często o wiele łatwiejsze do wprowadzenia do SPSS. Wygoda wydaje się przebijać naukę za każdym razem (bez zamierzonej gry słów).

Krótko mówiąc, jeśli nie zaczniemy poważnie podchodzić do jakości surowych danych, myślę, że marnujemy czas i pieniądze wszystkich, w tym własne. Czy więc ktoś chce współpracować nad „inicjatywą na rzecz jakości danych” w odniesieniu do metod nauk społecznych (tak, jest wiele podręczników na ten temat, ale wydaje się, że nikt nie zwraca uwagi na to źródło po egzaminach).

Ten, kto ma najwięcej akademickich grawitacji, może zostać przywódcą! (To nie będę ja.)

Aby wyjaśnić moją odpowiedź tutaj: tak często widzę poważne fundamentalne problemy z „wymyślonymi” typami danych surowych, że chciałbym zasugerować potrzebę rozpoczęcia od samego początku. Więc nawet zanim będziemy się martwić próbkowaniem lub testami, które należy przeprowadzić na danych, musimy przyjrzeć się ważności / ograniczeniom typów danych, które zbieramy w stosunku do proponowanych przez nas modeli. W przeciwnym razie ogólny model predykcyjny jest niepełnie zdefiniowany.

Colin
źródło
2
Z całą pewnością jestem w stanie podać przykłady wątpliwych konstrukcji badacza.
horaceT
4
Niekoniecznie nie zgadzam się z wieloma twoimi punktami. Ale chcę tylko zaznaczyć, że w przypadku odpytywania uważam, że każdy ankieter jest bardzo świadomy ograniczeń związanych z jakością danych, ale tak naprawdę nie ma żadnych opcji, aby to poprawić (zobacz moją odpowiedź). Twoja odpowiedź wydaje się sugerować, że ankieterzy chcą wypchnąć każdą odpowiedź, nie dbając o jakość danych. Myślę, że ankieter obchodzi dużo o jakości danych, ale również zdać sobie sprawę, że najlepszym mogą dostać ma poważne potencjalne wady. Czy poddajesz się („50% -50%!”) Lub próbujesz zbudować coś, co może być rozsądne?
Cliff AB,
moja odpowiedź na komentarze była z konieczności nieco długa, dlatego dodałem ją jako nową odpowiedź
colin,
9

Ankiety mają margines błędu wynoszący 5%, którego tak naprawdę nie można się pozbyć, ponieważ nie jest to błąd przypadkowy, ale błąd. Nawet jeśli uśredniasz w wielu ankietach, nie poprawia się to znacznie. Ma to związek z fałszywie przedstawionymi grupami wyborców, brakiem mobilizacji, niezdolnością do poddania się głosowaniu w dniu roboczym, niechęcią do odpowiedzi, niechęcią do właściwej odpowiedzi , spontanicznymi decyzjami podejmowanymi w ostatniej chwili ... ponieważ ta tendencja jest zwykle „skorelowana” w ankietach nie można się tego pozbyć dzięki większej liczbie ankiet; nie można się go również pozbyć przy większych próbkach; i wydaje się, że nie jesteś w stanie przewidzieć tego nastawienia, ponieważ zmienia się ono zbyt szybko (a my wybieramy prezydentów zbyt rzadko).

Z powodu głupiej zasady „zwycięzca bierze wszystko”, która wciąż występuje w prawie wszystkich stanach, błąd w wysokości 5% może powodować bardzo różne wyniki: Załóżmy, że ankiety zawsze przewidywały 49–51, ale rzeczywisty wynik wynosił 51–49 (więc błąd zaledwie 2%), wynik jest w 100% mniejszy; ponieważ zwycięzca bierze wszystko.

Jeśli spojrzysz na poszczególne stany, większość wyników mieści się w przewidywanych granicach błędu!

Prawdopodobnie najlepsze, co możesz zrobić, to wypróbować to uprzedzenie (+ -5%), zastosować zwycięzcę bierze wszystkie skrajności, a następnie zsumować wyniki. Prawdopodobnie jest to podobne do tego, co zrobił 538; a w 30% próbek Donald Trump wygrał ...

Anony-Mus
źródło
9
Nazywam to „warunkową grzywką” ankiety: w każdym pytaniu ankietowym 5% wszystkich respondentów udzieli szalonej odpowiedzi. Jak każda zasada empiryczna ma wyjątki, ale od dziesięcioleci dobrze sobie radzi, pomagając zrozumieć wyniki badań.
whuber
1
Gdyby to była tylko „szalona” odpowiedź. Problem polega na tym, że systematyczne, a nie „losowe szaleństwo”. Możesz uznać wybory za ankietę binarną i jakich „zwariowanych odpowiedzi” można się spodziewać w wersji binarnej? Ale najwyraźniej wiele osób celowo (?)
Udziela
3
@ Anony-Mousse bez względu na to, jak dokładne może być, czy nie, nie rozumiem, w jaki sposób młodzieńcze wzywanie nazwisk jest istotne dla analizy statystycznej.
Jared Smith
Och, to bezcenna historia. W niektóre dni trzeba się śmiać, zamiast martwić się, dlaczego wyniki prognoz są niedokładne.
Anony-Mousse,
Komentarze nie są przeznaczone do rozszerzonej dyskusji; ta rozmowa została przeniesiona do czatu .
gung
7

400,000

Ostatecznie ujawnił kolosalny brak analizy numerycznej, aby zrekompensować brak wiedzy na ten temat. Ludzie wstydzili się, że wyraźnie przyjmują zwycięskiego kandydata z oczywistych powodów.

Najgorszy model komputerowy mógłby zbliżyć się do wyniku, gdyby ktoś zadał sobie trud przeprowadzenia wstępnej ankiety twarzą w twarz, pukania do drzwi. Oto przykład: Trafalgar Group (bez przynależności i wiedzy innej niż poniżej) miał Trumpa na czele w PA, FL, MI, GA, UT i NV (ten ostatni stan ostatecznie stał się niebieski) na dzień przed wyborami. Jaka była magia?

kombinacja respondentów biorących udział zarówno w standardowym teście głosowania, jak i w teście głosowania [sic], w którym stoją sąsiedzi respondenta. Uwzględnia to uprzedzenia tradycyjnego głosowania, w którym respondenci nie są całkowicie prawdomówni co do swojego stanowiska wobec wysoce kontrowersyjnych kandydatów.

Dość mało zaawansowana technologicznie, w tym brak sprawdzania pisowni, pokazujący w liczbach wiele o ludzkiej naturze. Oto rozbieżność w PA :

wprowadź opis zdjęcia tutaj

Historyczna Pensylwania - do tej pory nie była postrzegana jako ostateczna słoma w klęsce Demokratów zaledwie kilka godzin przed końcową realizacją o godzinie 1:40 w dniu 9 listopada 2016 r .:

wprowadź opis zdjęcia tutaj

Antoni Parellada
źródło
2
Pytanie o zamiar głosowania sąsiadów jest genialne - wydaje mi się, że jest to jedna z tych sprytnych sztuczek, czasami wykorzystywanych w statystykach, które pozwalają skorygować (przynajmniej do pewnego stopnia) pozornie beznadziejną stronniczość. Dzięki za pisanie o tym, bardzo interesujące!
DeltaIV
5

Jednym z powodów niedokładności sondażu w wyborach w USA, poza tym niektórzy z jakiegokolwiek powodu nie mówią prawdy, że efekt „zwycięzca bierze wszystko” sprawia, że ​​prognozy są jeszcze łatwiejsze. Różnica 1% w jednym stanie może doprowadzić do całkowitej zmiany stanu i bardzo mocno wpłynąć na cały wynik. Hillary miała więcej wyborców, tak jak Al Gore vs. Bush.

Referendum w sprawie Brexitu nie było zwykłymi wyborami, dlatego też trudniej było je przewidzieć (brak dobrych danych historycznych i wszyscy byli jak wyborcy po raz pierwszy w tej sprawie). Ludzie, którzy przez dziesięciolecia głosowali na tę samą partię, stabilizują prognozy.

Sascha
źródło
2
Bardzo dobra obserwacja. Dla każdej strony i stanów wahania były wyraźne stany. Chociaż ich liczba była niska, wpływ na niewielką zmianę jest duża liczba głosów. To bardzo zawiły, historycznie uprawiany system głosowania w Stanach Zjednoczonych.
Trilarion
4

(Odpowiadając tylko na to pytanie, ponieważ inne odpowiedzi wydają się obejmować wszystko inne.)

Jeszcze wczoraj o 16:00 czasu PST rynki bukmacherskie nadal faworyzowały Hillary 4 do 1. Rozumiem, że rynki bukmacherskie z prawdziwymi pieniędzmi na linii powinny działać jako zbiór wszystkich dostępnych modeli predykcyjnych.

Nie ... ale pośrednio tak.

Rynki bukmacherskie są tak zaprojektowane, aby bukmacherzy osiągali zyski niezależnie od tego, co się stanie. Powiedzmy na przykład, że obecne kursy wynosiły 1-4 dla Hilary i 3-1 dla Trumpa. Jeśli kolejne dziesięć osób obstawi 10 $ na Hilary, wówczas wzięcie 100 $ będzie kosztowało ich 25 $, jeśli Hilary wygra. Skracają więc Hilary do 1-5 i podnoszą Trumpa do 4-1. Więcej osób obstawia teraz Trumpa i przywraca równowagę. Tj. Opiera się wyłącznie na tym, jak ludzie stawiają zakłady, a nie na ekspertach i modelach prognostycznych.

Ale oczywiście klienci bukmacherów oglądają te ankiety i słuchają tych ekspertów. Słyszeli, że Hilary ma 3% przewagi, martwy certyfikat do wygrania i zdecydowali, że szybkim sposobem na zarobienie 10 $ jest postawienie na nią 40 $ .

Pośrednio eksperci i ankiety zmieniają szanse.

(Niektórzy zauważają też, że wszyscy ich przyjaciele w pracy będą głosować na Trumpa, więc postaw na niego zakład; inni zauważają, że wszystkie posty ich znajomych na Facebooku są pro-Hilary, więc postaw na nią, więc ma to wpływ na rzeczywistość ich w ten sposób.)

Darren Cook
źródło
2

Nic dziwnego, że wysiłki te zakończyły się niepowodzeniem, gdy weźmie się pod uwagę rozbieżność między tym, do jakich informacji mają dostęp modele i jakie informacje wpływają na zachowanie kabiny wyborczej. Spekuluję, ale modele prawdopodobnie biorą pod uwagę:

  • różnorodne wyniki głosowania przedwyborczego
  • pochylenie stanu historycznego (niebieski / czerwony)
  • historyczne wyniki poprzednich wyborów z aktualnymi stanami / prognozami stanu

Ale sondaże przedwyborcze są niewiarygodne (widzieliśmy ciągłe niepowodzenia w przeszłości), stany mogą się odwracać, a w naszej historii nie było wystarczającej liczby cykli wyborczych, aby uwzględnić wiele sytuacji, które mogą się pojawić .

Kolejną komplikacją jest zbieżność głosów powszechnych z kolegium wyborczym. Jak widzieliśmy w tych wyborach, głosowanie powszechne może być bardzo bliskie w obrębie jednego państwa, ale gdy państwo zostanie wygrane, wszystkie głosy trafiają do jednego kandydata, dlatego mapa ma tyle czerwieni.

HEITZ
źródło
1

Modele wyborcze nie uwzględniały liczby Libertarian, którzy mogliby przejść z Johnson'a do Trumpa, jeśli chodzi o faktyczne głosowanie. Stany, które wygrał cienką marżą, zostały wygrane na podstawie tego, jaki procent głosów uzyskał Johnson. PA (która zepchnęła Trumpa ponad 270 w noc wyborczą) dała Johnsonowi tylko 2%. NH (który udał się do Clintona) dał Johnsonowi 4% +. Johnson sondował na poziomie 4% -5% w przeddzień wyborów, a dostał około 3% w dniu wyborów.

Dlaczego więc libertarianie nagle zaczęli dzień wyborów? Nikt nie zastanawiał się, jaka jest główna kwestia dla wyborców libertariańskich. Zwykle postrzegają dosłowną interpretację Konstytucji jako kanon. Większość osób, które głosowały na Clintona, nie sądziła, by lekceważenie prawa było wystarczająco wysokim priorytetem do rozważenia. Z pewnością nie wyżej niż wszystko, co nie podobało im się w Trumpie.

Bez względu na to, czy jej problemy prawne były ważne dla innych, czy nie, byłyby ważne dla libertarian. Nadaliby bardzo wysoki priorytet nieobecności w pracy osoby, która w najlepszym wypadku uznała zgodność z prawem za opcjonalną. Tak więc dla wielu z nich trzymanie Clintona na stanowisku byłoby priorytetem wyższym niż stwierdzenie, że filozofia libertariańska jest realną filozofią polityczną.

Wielu z nich może nawet nie lubił Trumpa, ale gdyby myśleli, że byłby bardziej szanujący praworządność niż Clinton, pragmatyzm pozbyłby się zasad dla wielu z nich i spowodowałby zmianę głosu przyszedł czas na głosowanie.

Dmitrij Rubanowicz
źródło
NH ma tam wszystkich ludzi z projektu wolnego państwa. Kwitnąca partia libertariańska i aktywni zwolennicy.
Jan
@John, NH Libertarianie utknęli z Johnsonem (4%). Trump stracił stan o 1%.
Dmitrij Rubanowicz
Rozumiem, że. Próbowałem wyjaśnić, że partia libertariańska jest silna w NH.
Jan
@John, ale to nie tylko NH. Minnesota: Johnson 4%, Trump przegrał o 2%; NV (trudniejszy argument, ale tendencja się utrzymuje): Johnson 3,5%, Trump przegrał o 2%; Maine: Johnson 5%, Trump przegrał o 3%; Colorado Johnson 5%, Trump przegrał o 3%.
Dmitrij Rubanowicz
Afaik, sondaże pytają o możliwość zmiany głosu, a prognozy uwzględniają to. Czy masz jakieś informacje, które sugerują, że przed wyborami były takie informacje, które nie zostały uwzględnione w żadnej prognozie, czy jest to czysta spekulacja?
Tim
1

Ankiety nie są trendami historycznymi. Bayesian zapytałby o trendy historyczne. Od Abrahama Lincolna istnieje partia republikańska i partia demokratyczna sprawująca urząd prezydencki. Trend imprezowy zmienia się 16 razy od tego czasu z Wikipedii ma następującą funkcję skumulowanej masy

wprowadź opis zdjęcia tutaj

x

To, co sprawiło, że dziennikarze, partia demokratyczna i ankieterzy uważają, że szanse na zwycięstwo liberałów były być może pobożnym życzeniem. Zachowanie może być przewidywalne, w pewnych granicach, ale w tym przypadku Demokraci chcieli, aby ludzie nie głosowali na zmianę, a z historycznego punktu widzenia bardziej prawdopodobne jest, że będzie taka zmiana.

Carl
źródło
0

Myślę, że wyniki sondaży zostały ekstrapolowane na skalę publiczną, zakładając, że dane demograficzne będą podobne do danych demograficznych i będą dobrą reprezentacją całej populacji. Na przykład, jeśli 7 na 10 mniejszości poparło Hillary w ankietach, a jeśli mniejszość ta stanowi 30% populacji USA, większość sondaży zakłada, że ​​30% wyborców będzie reprezentowanych przez tę mniejszość i przełoży się na ten 21% zysk dla Hillary. W rzeczywistości biali mężczyźni z klasy średniej i wyższej byli lepiej reprezentowani wśród wyborców. Głosowało mniej niż 50% kwalifikujących się osób, co nie przełożyło się na 50% zniżki na wszystkie płcie, rasy itp.

Albo w sondażach przyjęto idealną randomizację i na tej podstawie oparły się ich modele, ale w rzeczywistości dane wyborców były tendencyjne w stosunku do starszych mężczyzn z klasy średniej i wyższej.

Lub sondaże nie zakładają dokładnie losowości, ale ich parametry ekstrapolacji nie doceniają niejednorodności demografii wyborców.

ETA: Ankiety z poprzednich dwóch wyborów wypadły lepiej ze względu na większą uwagę na głosowanie w grupach, które zwykle nie są dobrze reprezentowane.

Brian
źródło
O ile mi wiadomo, wszystkie ankiety opierają swoje prognozy na „prawdopodobnych wyborcach”. Nie wyobrażam sobie sondaży, które zakładają, że 20-latek ma taką samą szansę na głosowanie jak 70-latek. Bardziej centralny wydaje się problem: jak prawdopodobne jest, że ktoś zagłosuje?
dimpol,
Rozliczanie danych demograficznych jest najłatwiejsze. Po prostu ponownie zważ próbkę populacji do rzeczywistej populacji. Uwzględnienie frekwencji wyborczej i uprzedzeń wymienionych w innych odpowiedziach jest jednak o wiele trudniejsze.
Graipher
Istnieje duża różnorodność sposobu, w jaki ankieterzy rozwiązują te problemy. Niektóre przywracają równowagę demograficzną lub równowagę opartą na przynależności do partii, inne nie. Ponieważ jednak istnieją różnice w modelach wykorzystujących średnie z odpytywania, wynik końcowy powinien być odporny na problemy szczególne dla jednej metody robienia tego, która nie jest dzielona przez inne ankiety, szczególnie po kontrolowaniu historycznych stronniczych stronniczości (tj. Efektów domowych) poszczególnych operacje odpytywania. Problemy ze średnimi wynikami sondowania muszą wynikać ze wspólnych metod lub efektów, a nie metod specyficznych dla każdej ankiety.
ohwilleke,
0

HoraceT i CliffAB (przepraszam za długo na komentarze) Obawiam się, że mam całe życie przykładów, które nauczyły mnie również, że muszę bardzo uważać na ich wyjaśnienia, jeśli chcę uniknąć obrażania ludzi. Więc chociaż nie chcę twojej pobłażliwości, proszę o twoją cierpliwość. Tutaj idzie:

Zacznijmy od skrajnego przykładu, widziałem kiedyś zaproponowane pytanie ankietowe, w którym niepiśmienni rolnicy (Azja Południowo-Wschodnia) oszacowali „ekonomiczną stopę zwrotu”. Pomijając na razie opcje odpowiedzi, mamy nadzieję, że wszyscy widzimy, że jest to głupota, ale konsekwentne wyjaśnianie, dlaczego jest głupie, nie jest takie łatwe. Tak, możemy po prostu powiedzieć, że jest głupie, ponieważ respondent nie zrozumie pytania i po prostu odrzuci je jako kwestię semantyczną. Ale to naprawdę nie jest wystarczająco dobre w kontekście badań. Fakt, że pytanie to zostało kiedykolwiek zasugerowane, sugeruje, że badacze mają nieodłączną zmienność tego, co uważają za „głupie”. Aby zająć się tym bardziej obiektywnie, musimy cofnąć się i w przejrzysty sposób zadeklarować odpowiednie ramy dla podejmowania decyzji w takich sprawach. Istnieje wiele takich opcji,

Przyjmijmy zatem, że mamy dwa podstawowe typy informacji, których możemy użyć w analizach: jakościowe i ilościowe. I że oba są powiązane procesem transformacyjnym, tak że wszystkie informacje ilościowe zaczynały się jako informacje jakościowe, ale przechodziły przez następujące (nadmiernie uproszczone) kroki:

  1. Ustawienie konwencji (np. Wszyscy zdecydowaliśmy, że [niezależnie od tego, jak indywidualnie to postrzegamy], że wszyscy nazwiemy kolor dziennego otwartego nieba „niebieskim”.)
  2. Klasyfikacja (np. Oceniamy wszystko w pokoju według tej konwencji i dzielimy wszystkie elementy na kategorie „niebieskie” lub „nie niebieskie”)
  3. Policz (liczymy / wykrywamy „ilość” niebieskich rzeczy w pokoju)

Zauważ, że (w tym modelu) bez kroku 1 nie ma czegoś takiego jak jakość, a jeśli nie zaczniesz od kroku 1, nigdy nie możesz wygenerować znaczącej ilości.

Raz powiedziane, wszystko to wygląda bardzo oczywisto, ale są to takie zestawy pierwszych zasad, które (uważam) są najczęściej pomijane i dlatego powodują „odśmiecanie”.

Tak więc „głupota” w powyższym przykładzie staje się bardzo wyraźnie definiowana jako brak ustanowienia wspólnej konwencji między badaczem a respondentami. Oczywiście jest to skrajny przykład, ale o wiele bardziej subtelne błędy mogą być w równym stopniu generowaniem śmieci. Innym przykładem, jaki widziałem, jest badanie rolników na obszarach wiejskich w Somalii, w którym zapytano: „Jak zmiany klimatu wpłynęły na twoje źródło utrzymania?” Ponownie odkładając na chwilę opcje reakcji, sugerowałbym, że nawet pytając o to rolników na środkowym zachodzie Stany Zjednoczone stanowiłyby poważny brak zastosowania wspólnej konwencji między badaczem a respondentem (tj. co do tego, co jest mierzone jako „zmiana klimatu”).

Teraz przejdźmy do opcji odpowiedzi. Pozwalając respondentom na odpowiedzi na kod własny z zestawu opcji wielokrotnego wyboru lub podobnej konstrukcji, przesuwasz tę kwestię „konwencji” również na ten aspekt pytania. Może to być w porządku, jeśli wszyscy trzymamy się skutecznie „uniwersalnych” konwencji w kategoriach odpowiedzi (np. Pytanie: w jakim mieście mieszkasz? Kategorie odpowiedzi: lista wszystkich miast w obszarze badawczym [plus „nie w tym obszarze”]). Jednak wielu badaczy wydaje się być dumnych z subtelnego dopracowania swoich pytań i kategorii odpowiedzi w celu zaspokojenia ich potrzeb. W tej samej ankiecie, w której pojawiło się pytanie o „stopę zwrotu ekonomicznego”, badacz poprosił również respondentów (biednych mieszkańców wsi) o podanie, do którego sektora gospodarki się przyczynili: z kategoriami odpowiedzi „produkcja”, „usługa”, „produkcja” i „marketing”. Znów pojawia się tutaj kwestia konwencji jakościowej. Ponieważ jednak uczynił odpowiedzi wzajemnie się wykluczającymi, tak że respondenci mogli wybrać tylko jedną opcję (ponieważ „łatwiej jest w ten sposób zasilić SPSS”), a rolnicy wiejscy rutynowo produkują uprawy, sprzedają swoją pracę, wytwarzają rękodzieło i zabierają wszystko, aby na lokalnych rynkach, ten konkretny badacz nie tylko miał problem z konwencją ze swoimi respondentami, ale miał problem z samą rzeczywistością.

Właśnie dlatego stare nudziarze, jak ja, zawsze zalecają bardziej pracochłonne podejście do kodowania danych po zebraniu danych - ponieważ przynajmniej możesz odpowiednio przeszkolić programistów w konwencjach prowadzonych przez badaczy (i pamiętaj, że próbując przekazać takie konwencje respondentom w „ instrukcje ankiety ”to gra z kubkiem - na razie tylko mi zaufaj). Zauważ także, że jeśli zaakceptujesz powyższy „model informacyjny” (który, jak twierdzę, nie twierdzę, że musisz), to również pokazuje, dlaczego skale quasi-porządkowe mają złą reputację. Nie są to tylko podstawowe zagadnienia matematyczne zgodnie z konwencją Stevena (tzn. Musisz zdefiniować sensowne pochodzenie nawet dla porządków, nie możesz ich dodawać i uśredniać itp.), jest również tak, że często nigdy nie przeszli przez żaden przejrzysty i logicznie spójny proces transformacyjny, który sprowadzałby się do „kwantyfikacji” (tj. rozszerzonej wersji modelu zastosowanego powyżej, która obejmuje również generowanie „wielkości porządkowych” [- to nie jest trudne do zrobienia]). W każdym razie, jeśli nie spełnia on wymagań informacji jakościowych lub ilościowych, wówczas badacz twierdzi, że odkrył nowy rodzaj informacji poza ramami, a zatem na nich spoczywa obowiązek pełnego wyjaśnienia jego podstawowej podstawy pojęciowej ( tzn. przejrzyste zdefiniowanie nowych ram).

Na koniec spójrzmy na problemy z próbkowaniem (i myślę, że jest to zgodne z niektórymi innymi odpowiedziami już tutaj). Na przykład, jeśli badacz chce zastosować konwencję, która stanowi „liberalnego” wyborcę, musi być pewien, że informacje demograficzne, których używają do wyboru systemu pobierania próbek, są zgodne z tą konwencją. Poziom ten jest zwykle najłatwiejszy do zidentyfikowania i pokonania, ponieważ jest w dużej mierze pod kontrolą badacza i jest najczęściej rodzajem przyjętej konwencji jakościowej, która jest w sposób przejrzysty zadeklarowana w badaniach. Dlatego też jest to poziom zwykle dyskutowany lub krytykowany, podczas gdy bardziej fundamentalne kwestie pozostają nierozwiązane.

Podczas gdy ankieterzy trzymają się pytań typu „na kogo planujesz głosować w tym momencie?”, Prawdopodobnie nadal mamy się dobrze, ale wielu z nich chce uzyskać o wiele „bardziej uprzejme” niż to…

Colin
źródło