Jak leczyć nielogiczne odpowiedzi w ankiecie

13

Wysłałem ankietę do próby artystów. Jednym z pytań było wskazanie odsetka dochodu uzyskanego z: działalności artystycznej, wsparcia rządowego, prywatnej emerytury, działań niezwiązanych ze sztuką. Około 65% osób odpowiedziało tak, że suma procentowa wynosi 100. Inni nie: na przykład są tacy, którzy odpowiadają, że 70% ich dochodów pochodzi z jego działalności artystycznej, a 60% z dochodów rządu , i tak dalej. Moje pytanie brzmi: jak mam traktować te obserwacje? Czy powinienem je usunąć, zmodyfikować lub zachować? Dziękuję Ci!

survey bias Andrea
źródło

4

Tak długo, jak wspominasz o tym, co zrobiłeś, możesz zrobić wszystko, a Twoja praca zostanie opublikowana z tymi zastrzeżeniami. Jednak nie powiedziałeś nam, ile masz osób - pozbycie się 35% próbki jest mniej niepokojące, jeśli masz tysiące osób odpowiadających niż 35% z 40 - problem pojawia się, gdy „ ponownie zanurzam się w nim, aby dokonać analizy statystycznej. A więc - wielkość próbki?

Lio Elbammalf

8

@LioElbammalf Duża wielkość próby nie eliminuje problemów spowodowanych nieprzypadkowymi kryteriami wykluczenia, takimi jak „respondent nie potrafi poprawnie zrobić matematyki”

Accumumulation

11

Czy w twoim przykładzie jest możliwe, że sprzedali sztukę rządowi i zinterpretowali to jako pieniądze pochodzące z dwóch źródeł, licząc je w ten sposób w dwóch kolumnach? Może być tak, że zinterpretowali twoją ankietę inaczej niż wtedy, kiedy ją przeprowadziłeś. Jest również całkiem prawdopodobne, że są oni w pewnym stopniu analfabetami matematycznymi. Żaden z tych przypadków nie powoduje, że ich wyniki nie nadają się do użytku, być może są trudne do rozwiązania. Dla przypomnienia, tak jak tutaj, miałbym taką samą interpretację jak ty.

Poik

7

Czy to niekoniecznie jest niekonsekwentne? Czy nie jest możliwe, że te kategorie nie wykluczają się wzajemnie? Na przykład pozwany zarabia 30% swoich dochodów z pracy artystycznej opłacanej przez rząd .

Ben - Przywróć Monikę

5

@Ben, absolutnie. O wiele ważniejsze niż zajmowanie się tym zagadnieniem jest takie zaprojektowanie kwestionariusza, aby było w tym zakresie jednoznaczne.

HRSE

30

To dobra sytuacja do analizy wrażliwości. Analizuj swoje dane na każdy z trzech sposobów -

Tak jak oni
Po wykluczeniu „nielogicznych”, tj. Osób, których odsetek nie sumuje się do 100 (lub 100 +/- 10)
Po dostosowaniu w razie potrzeby, aby odsetki każdej osoby sumowały się do 100

Następnie porównaj wyniki, dzieląc się możliwym uzasadnieniem, które wyniki mogą być dokładniejsze lub dokładniejsze pod pewnymi względami.

Możesz także zbadać zakres różnic między logiką i nielogiką, jeśli takie istnieją. Czy nielogiczni zgłaszają wyższe dochody? Aby wykazać większe poparcie dla niektórych pomysłów lub programów? Aby pominąć więcej pytań? Czy chcesz wykazać więcej uprzedzeń w sensie prostowania lub nieproporcjonalnego wyboru odpowiedzi średnich lub skrajnych?

Przy około 400 lub tych nielogicznych masz wystarczającą ilość danych, aby ocenić związek między stopniem nielogiczności a stopniem danego rodzaju stronniczości. Coś w rodzaju zależności dawka-odpowiedź.

Czego się nauczysz z tych dochodzeń, możesz wykorzystać w swoim planie postępowania z nielogicznymi, jeśli chodzi o główne analizy będące przedmiotem zainteresowania.

rolando2
źródło

16

Jak już tu wspomniano , odpowiedzi te niekoniecznie są nielogiczne. Na przykład mówisz

Inni nie: na przykład są tacy, którzy odpowiadają, że 70% ich dochodów pochodzi z jego / jej działalności artystycznej, a 60% z dochodów rządu i tak dalej.

Ma to sens, jeśli 30% dochodów pochodzi z działalności artystycznej prowadzonej na rzecz rządu. Mamy więc naprawdę trzy grupy:

Działalność artystyczna niezwiązana z rządem: 40%.
Rząd niezwiązany z działalnością artystyczną: 30%.
Działalność artystyczna subsydiowana przez rząd: 30%.

Liczby te sumują się do 100%.

Rozważ następujące pytania:

Czy bony żywnościowe są rządowe lub nie są związane ze sztuką?
Czy rząd ubezpieczeń społecznych lub emerytura?
Czy emerytura rządowa (były pracownik rządowy) jest prywatną emeryturą czy rządem?
Czy rząd udziela dotacji na malowanie działalności artystycznej czy rządowej?
Czy praca polega na nauczaniu sztuki w lokalnych władzach szkolnych, czy działalność artystyczna lub działalność niezwiązana ze sztuką?
Jeżeli emerytura jest związana z pracą w sztuce (nauczanie lub reklama, np. Rysowanie kart podarunkowych), czy emerytura jest działalnością prywatną lub artystyczną? A może w przypadku nauczania może rząd?

Wydaje się, że chcesz, aby te kategorie wzajemnie się wykluczały. Nie sądzę jednak, by wszyscy interpretowali je w ten sposób. Możesz mieć jasne przemyślenia na temat tego, jak należy kategoryzować te działania, ale nie jest jasne, że respondenci mieli na myśli te same podziały, kiedy odpowiadali. Co najmniej, jeśli chcesz, aby liczby dodawały się do 100%, powinieneś o tym powiedzieć innym.

Osobiście uważam, że najlepszym podejściem do tego rodzaju problemu jest stworzenie pewnego rodzaju grupy fokusowej. W tradycyjnej ankiecie możesz nie być w stanie zweryfikować odpowiedzi. Zadzwoń lub odwiedź osoby, które będą przedmiotem ankiety i rozpocznij rozmowę. Gdy odpowiedzą na pytania, których nie rozumiesz, zapytaj ich dlaczego. Poza tym zapytaj ich, jak powinieneś zadać pytanie, aby uzyskać pożądane wyniki. To działa bardziej jak grupa fokusowa, ponieważ jest interaktywna.

Gdy to zrobisz, możesz lepiej zrozumieć, jak obsługiwać odpowiedzi, które nie pasują do twojego formatu. Na przykład możesz wziąć 30% więcej i odjąć połowę z każdego. Wtedy miałbyś 55% działalności artystycznej i 45% rządu. Lub możesz zakwalifikować jako 40% prywatnej działalności artystycznej, 30% sponsorowanej przez rząd działalności artystycznej i 30% innej (w tym przypadku wsparcie rządowe niezwiązane z działalnością artystyczną, np. Bony żywnościowe lub wsparcie czynszowe). Lub wyrzuć ankietę i powtórz ją, ponieważ ludzie nie rozumieją poprawnie twoich kategorii. Częściowo zależy to od tego, co rozumiesz kategorie i jak je interpretowali.

Teraz jest już za późno, ale w przypadku przyszłych badań rozważ zrobienie regularnej grupy fokusowej przed badaniem. Następnie możesz przetestować swoje pytania w środowisku grupowym i je ulepszyć. Może się nawet okazać, że otrzymujesz dodatkowe pytania od grupy. Jeśli jest to zbyt trudne, zrobić to osobiście, rozważ zrobienie tego online. Lub wykonaj ankietę testową (z mniejszej liczby osób, sprawdzając odpowiedzi z pytaniami uzupełniającymi) osobiście przez telefon przed wykonaniem prawdziwej ankiety. Każde z nich może pomóc ci wyjaśnić pytania.

Na przykład, być może twoimi prawdziwymi kategoriami powinny być prywatne dochody z działalności artystycznej; sponsorowana przez rząd działalność artystyczna; prywatna emerytura z poprzedniej pracy; inne dochody niezwiązane z działalnością artystyczną. Lub coś innego. Częściowym problemem jest to, że nie mogę powiedzieć, czego chcesz, co sprawia, że myślę, że twoi respondenci też nie mogli. Jeśli istnieją trzy różne interpretacje, to prawie tak, jakbyś łączył odpowiedzi z trzech różnych ankiet.

Brythan
źródło

12

Nie mogę udzielić odpowiedzi na ogólny przypadek nielogicznych odpowiedzi. Ale dla tego konkretnego rodzaju pytania - już tam było, zrobiłem to. Nie tylko w ankiecie, ale także w wywiadach półstrukturalnych, w których miałem okazję obserwować, jak ludzie wpadają na tego rodzaju odpowiedź. W oparciu o to, a także pewne ogólne doświadczenia w obserwowaniu i analizowaniu procesów poznawczych, sugerowałbym: normalizację danych z powrotem do sumy 100% . Powodem jest to, że ludzie wydają się najpierw przechodzić do najbardziej znaczącej kategorii - w twoim przypadku byłby to największy dochód - podać szacunkowe odczucia w procentach, a następnie zacząć myśleć o następnych mniejszych kategoriach i oprzeć swoje szacunki na względnym do kotwicy pierwszej kategorii plus tej z innych już wymienionych kategorii.

Na przykład: „Moje pierwsze źródło dochodu to z pewnością ponad połowa. To sprawia, że 60%? Nie, to za mało, powiedzmy 65%. Drugi to około jednej trzeciej tego , więc byłoby to nieco więcej niż 20%, trudno jest to obliczyć w mojej głowie, zaokrąglijmy w górę do 25%. Trzeci wydaje się także jedną trzecią pierwszego, ale tak naprawdę zawsze jest trochę większy niż po drugie, więc powinno to być 30%, a nawet 35? Nie, chodźmy z 30. Och, i zapomniałem, że mam czwarte źródło, które zdarza się tylko raz w roku, powinno być naprawdę małe w porównaniu do innych 5 czy 10%? Probabaly 5 jest bliżej, to nie jest aż tak bardzo ". I tak otrzymujesz odpowiedź 65 + 25 + 30 + 5 = 125%.

Ponieważ ludzie są bardziej świadomi względnej wielkości części dochodu względem siebie niż każdej części w stosunku do całości, powiedziałbym, że normalizacja ich jest tutaj, jeśli chcesz przeprowadzić jakąś analizę numeryczną dochodu . Pracowałbym tylko z rzeczywistymi podanymi liczbami, jeśli różnica między przekonaniami ludzi a stwierdzeniami na temat ich dochodów i obiektywnej rzeczywistości jest ważnym tematem w twojej pracy, na przykład jeśli jesteś psychologiem badającym uprzedzenia poznawcze lub jeśli bardziej interesujesz się samoocena artystów niż ich sytuacja ekonomiczna.

Niestety nie mam dobrego źródła literatury, aby udowodnić, że to naprawdę działa tak, jak to opisałem, to tylko moja osobista obserwacja empiryczna. Ale nie sądzę, aby recenzenci przyłapali się na tego rodzaju decyzjach, ponieważ, jak powiedziano w innych odpowiedziach, nie ma jednego „właściwego” sposobu traktowania tego. Jeśli cokolwiek, odrzucą wszystkie dane z tego pytania jako nieprawidłowe z powodu wadliwej techniki zapytań. Najlepsze, co możesz zrobić, to prewencyjnie to potwierdzić i przedstawić argumenty, dlaczego twoja praca jest mimo wszystko przydatna i dlaczego wyciągane przez ciebie wnioski są nadal dobre pomimo tego konkretnego źródła niedokładności w danych.

rumtscho
źródło

6

Po uzyskaniu znormalizowanych proporcji możesz porównać ich rozkład z proporcjami podanymi przez ludzi, którzy byli w stanie wykonać matematykę. Różnica w środkach, która jest statystycznie zerowa (dla każdego źródła dochodu), byłaby przekonującym dowodem na to, że intuicja @rumtscho jest poprawna.

suckrates

9

Jeśli nauki społeczne mnie czegoś nauczyły, to jeśli dasz ludziom szansę na logicznie niespójne odpowiedzi, zrobią to. Zapewniamy więc, że nie ma nic niezwykłego w swoich przedmiotach. Należy o tym pamiętać przy projektowaniu przyszłych ankiet. Na razie najlepiej pozostawić odpowiedzi takimi, jakie są, i po prostu pamiętać w swoich analizach, że odpowiedzi w rzeczywistości nie będą się sumować do 100%, jak mogłoby się wydawać. Zamiast prawdziwych proporcji masz głośne sygnały o tym, ile dochodu otrzymuje każdy badany z każdej kategorii, więc przeanalizuj je w ten sposób.

Kodiolog
źródło

1

Dziękuję za Twój komentarz! Czy uważasz, że lepiej jest odejść takim, jakim jest, lub na przykład znormalizować procent, aby ich suma wynosiła 100%. Biorąc pod uwagę podany przykład, 53,85% i 46,15% (zamiast 70% i 60%)?

Andrea,

3

@Andrea To jest opcja. Trudno powiedzieć, co jest lepsze, przynajmniej bez bardzo konkretnego pojęcia, jakie analizy przeprowadzasz, ale weź pod uwagę, że zaletą takiej zmiany jest to, że uzyskujesz proporcje, które faktycznie się sumują, a zatem być może lepszą porównywalność między podmiotami, podczas gdy wada polega na tym, że ukryjesz efekty charakterystycznego sposobu, w jaki ludzie postrzegają i używają liczb (np. 69–70% jest postrzegane jako bardziej znaczący wzrost niż 68–69%).

Kodiolog,

6

działalność artystyczna, wsparcie rządowe, emerytury prywatne, działania niezwiązane ze sztuką

Już na pierwszy rzut oka wydaje się, że „działalność artystyczna” i „działalność niezwiązana ze sztuką” powinna stanowić do 100%.

Oczywiście „działalność niezwiązana ze sztuką” nie jest tym samym, co „działalność niezwiązana ze sztuką”, ponieważ dochód może być związany z brakiem aktywności. Ale to rozszczepianie włosów, którego większość artystów nie zauważy.

Jeśli przyjmiesz, że kategorie 1 i 4 powinny sumować się do 100%, i odpowiednio zinterpretujesz tych respondentów, możesz stwierdzić, że większość z nich zawiera kategorie 2 i 3 w kategorii 4.

Wszystko to jednak nie jest idealne do manipulacji danymi. Jeśli chcesz uzyskać dokładne odpowiedzi statystyczne, musisz zebrać dokładne dane. Ludzie mogą kłamać w odpowiedzi na twoją ankietę, i trudno się przed tym bronić, ale jeśli ludzie szczerze próbując odpowiedzieć na twoje pytania, mogą być zdezorientowani co do tego, co ma na myśli, twoja ankieta musi zostać przepisana.

Następnym razem sprawdź poprawność ankiety pod kątem zrozumiałości i niejasności , zanim ją wyślesz.

Dzika karta
źródło

3

Podałeś cztery kategorie dochodu - co z dochodami, których nie ma w żadnej z nich? Na przykład dochód z dywidend z posiadania akcji. Nie jest to dochód z żadnej formy działalności, ale nie jest to również wsparcie rządowe ani emerytura. Sugerowałbym, że w przypadku braku innych informacji należy uważać odpowiedzi za prawidłowe i przypisywać brakujące pieniądze źródłom, których respondenci nie uważali za objęte kategoriami.

Kok
źródło

3

to nie wyjaśnia przypadku, w którym suma jest powyżej 100%

kjetil b halvorsen

@ Bob to dobry punkt, ale już wykluczyłem tę sprawę, ponieważ w większości przypadków suma jest powyżej 100%

Andrea

2

W rzeczywistości jest to dość proste (i nawet nie tak nielogiczne, jak mogłoby się wydawać)! Zakładam, że tak naprawdę są to proporcje różnych kategorii dochodu, których szukasz, prosząc o procent. Możesz więc po prostu renormalizować do 100%. W twoim przykładzie: jeśli ktoś powie: 70% moich dochodów pochodzi z działalności artystycznej, a 60% ze wsparcia rządu, ta osoba (która prawdopodobnie nigdy nie miała żadnego szkolenia w pracy z procentami) tak naprawdę mówi: krewnyrozmiary lub proporcje moich dochodów z działalności artystycznej i rządowej wynoszą od około 70 do 60 lub od 7 do 6 (prawdopodobnie nie zdając sobie sprawy, że odsetki powinny się sumować do 100 ...). Można przekonwertować te oświadczenia dotyczące proporcji na oświadczenia o odsetkach, po prostu renormalizując je w następujący sposób: 70/130 * 100 = 53% dochodu artystycznego i 60/130 * 100 = 47% dochodu z pomocy rządowej.

(To, co tutaj robię, to tak naprawdę wziąć 130% jako „nowy” 100% i obliczyć proporcje ..)

PS. działa to we wszystkich przypadkach, w których suma podanych wartości procentowych jest nierówna do 100

Mam nadzieję że to pomoże!

Rients Dijkstra
źródło

1

Większość już udzielonych odpowiedzi dała już pewien wgląd w oczywiste wady metodologiczne badań, więc nie będę się nad tym rozwodził. Zamiast tego przedstawię kilka praktycznych opcji, w jaki sposób traktować te dane, biorąc pod uwagę, że są one już zebrane i pomimo wadliwego pytania. Jest na to kilka sposobów. Możesz rozważyć zaznaczenie odpowiedzi, które nie spełniają twojej definicji „prawidłowej odpowiedzi”, traktując całe pytanie jako brakujące, a następnie postępując zgodnie z dowolną liczbą praktyk postępowania z brakiem odpowiedzi na pytanie, takich jak omówione tutaj .

$y_{{old}_{ij}}$ $(j=1,2,3,4)$ $y_{{new}_{ij}}$

\begin{array}{rcl} y_{n mi w_{ja jot}} & = & {\begin{cases} 0 & , dla \sum_{jot = 1}^{4} y_{o l {re}_{ja jot}} = 0 \\ \frac{y_{o l {re}_{ja jot}}}{\sum_{jot = 1}^{4} y_{o l {re}_{ja jot}}} & , dla \sum_{jot = 1}^{4} y_{o l {re}_{ja jot}} > 0 \\ M. ja s s ja n sol & , O t h mi r w ja s mi \end{cases} \end{array}

$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$

i

$i$

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Następnie przekodujesz w następujący sposób:

\begin{array}{rcl} y_{n mi w_{ja 1}} & = & \frac{10}{10 + 0 + 30 + 40} = \frac{10}{80} = 12.5 % \\ y_{n mi w_{ja 2)}} & = & \frac{0}{10 + 0 + 30 + 40} = \frac{0}{80} = 00.0 % \\ y_{n mi w_{ja 3)}} & = & \frac{30}{10 + 0 + 30 + 40} = \frac{30}{80} = 37,5 % \\ y_{n mi w_{ja 4}} & = & \frac{40}{10 + 0 + 30 + 40} = \frac{40}{80} = 50,0 % \end{array}

$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$

Pamiętaj, że wszystkie nowe wartości procentowe zwiększają się teraz do 100%. Cokolwiek zrobisz, upewnij się, że dokonałeś bardzo wyraźnych transformacji podczas raportowania swoich wyników i myślę, że @ rolando2 zapewnił kilka doskonałych porad, jak wykonać niektóre analizy wrażliwości, aby zobaczyć, jak takie transformacje mogą wpłynąć na twoje wnioski.

StatsStudent
źródło

Jak leczyć nielogiczne odpowiedzi w ankiecie

Odpowiedzi: