Dodano szóstą opcję odpowiedzi („nie wiem”) do 5-punktowej skali Likerta. Czy dane zostały utracone?

16

Potrzebuję trochę pomocy w odzyskaniu danych z kwestionariusza.

Jeden z moich kolegów zastosował kwestionariusz, ale nieumyślnie, zamiast skorzystać z oryginalnej 5-punktowej skali Likerta (zdecydowanie nie zgadzam się zdecydowanie), wstawił szóstą odpowiedź do skali. I, co gorsza, szósta opcja to… „Nie wiem”.

Problemem jest duża część respondentów, którzy w pewnym momencie wybrali „nie wiem”. Gdyby stanowiły stosunkowo niewielki odsetek, po prostu wykluczyłbym je z bazy danych. Jednak rdzeń badań opiera się na modelu koncepcyjnym, a wykluczenie tylu rekordów stworzyłoby problem dla modelu.

Czy ktoś może skierować mnie tutaj we właściwym kierunku? Czy są jakieś „dobre praktyki” lub czy mogę zrobić coś, aby użyć (przekształcić, przekonwertować itp.) Tych odpowiedzi „nie wiem”?

Ponadto, jeśli dokonam jakiejkolwiek manipulacji danymi danymi (tj. Jeśli przekonwertuję odpowiedzi „nie wiem”, przez podstawienie, przypisanie itp.), Jakiego rodzaju „wyłączenie odpowiedzialności”, „ostrzeżenie”, adnotacja, powinienem użyć?

Wiem, że to długa szansa, ale przyznaję, oprócz ratowania odpowiedzi, jestem również ciekawy, jaka jest uzgodniona praktyka (jeśli taka istnieje) w tego typu przypadkach.

PS: Wiem, że to brzmi dziecinnie, ale nie, „kolega” to nie ja :)

likert data-imputation opływowy
źródło
22
Wyobraź sobie, że twój kolega nie uwzględnił kategorii Nie wiem. Na co odpowiedzieliby te osoby? Może zaznaczą jakąś losową kategorię, może zostawiliby ją pustą. Teraz wiesz, że twoje zmienne są problematyczne i podejmij świadomą decyzję. Patrząc z tej perspektywy, kolega wyświadczył ci przysługę.
Maarten Buis,
Cóż, jeśli chodzi o drapanie się w głowę, rzeczywiście wyświadczył mi przysługę ... Masz rację co do losowości odpowiedzi, i może to być podejście do przypisania, jednak zastanawiałem się, czy jest coś dobrego praktyki lub przynajmniej podobne doświadczenia
usprawnij
4
Uważam, że kwestionariusze, które nie mają takiej opcji „ nie wiem ”, są szczególnie frustrujące (szczególnie, gdy nie można wysłać bez wybrania czegoś). Powiedzmy, że zadajesz pytanie w stylu: „ Nowe funkcje tej rakiety kosmicznej są ulepszeniem ”, a następnie jesteś zmuszony być co najwyżej neutralny, niektórzy ludzie mogą następnie zinterpretować tego rodzaju ankiety i podsumować „Poprosiliśmy 1000 ludzie, a 100% nie miało nic przeciwko ... ”, podczas gdy w praktyce ta funkcja może być całkowitym błędem dla tych, którzy z niej korzystają. W takich przypadkach wydaje mi się prawie cichym poparciem dla czegoś, czego nie użyłem.
Bruno,
3
Aby być bardziej zrozumiałym: jeśli model zakłada, że ​​5-punktowa skala może reprezentować opinie respondentów, to twoje dane dowodzą, że model jest nieodpowiedni . Gdyby to było poprawne, miałbyś znikomą liczbę „nie wiem”, ponieważ ludzie byliby w stanie odpowiedzieć 1-5. Dane te „stworzyłyby problem dla modelu”, tak jak orbita Merkurego stwarza problem dla fizyki newtonowskiej. Wydaje mi się, że jedynym wyjściem jest sytuacja, gdy punktem środkowym jest „ani się nie zgadzam, ani nie zgadzam”, a można sprawić, że „nie wiem” jest zbędne z takim samym znaczeniem.
Steve Jessop
Cześć, @SteveJessop, podczas gdy w teorii / w zasadzie masz rację co do liczby odpowiedzi DK jako wskazujących na problem z kwestionariuszem (nie model, pamiętaj, że model nie jest CFA dla skali, ale regresją w przypadku wielu zmiennych, w tym skali), nadal jest trochę mocne nazwać to nieodpowiednim. Przeprowadzę analizy skali i zobaczę, i to prawda, liczba ścinek odpowiedzi DK może okazać się problematyczna. Mogą jednak również oznaczać, że respondent nie miał ochoty odpowiadać (nawiasem mówiąc, zdecydowana większość odpowiedzi DK pochodzi od grupy studentów po egzaminie ...)
usprawnij

Odpowiedzi:

28

Po co próbować wymuszać kalibrację czegoś, co nie jest prawdą? Jak powiedział Maarten, nie jest to utrata danych, ale zdobycie informacji. Jeśli istnieje magiczna pigułka, której szukasz, oznacza to, że istnieją pewne założenia dotyczące twojej populacji, które są na przykład nastawione na korzyść jednej konkretnej etykiety, nawet jeśli użytkownicy mówią „nie wiem”.

Całkowicie rozumiem twoją frustrację, ale właściwym sposobem podejścia do problemu jest modyfikacja modelu w celu dopasowania do twoich potrzeb w oparciu o prawdziwe istniejące dane, a nie odwrotnie (modyfikowanie danych).

Hatim Khouzaimi
źródło
Cześć, Hatim, nie sądzę, że można zmodyfikować model. Skala jest porządkowa i zakłada uzasadniony i wyraźny wybór, podczas gdy szósta odpowiedź „nie wiem” może być interpretowana na wiele sposobów. Może to oznaczać, że „nigdy nie spotkałem się z tą sytuacją / nie pamiętam”, może to oznaczać pewnego rodzaju wybór „pośrednika”. Każda taka interpretacja / założenie w moim imieniu byłoby zarozumiałe i bezpodstawne. Odpowiedź Maartena odnosiła się do „zdobywania” informacji, które, jak sądzę, mogą być wykorzystane do specyficznej „losowej” imputacji, ale nie tak mówisz - „modyfikuj model”.
usprawnienie
kontynuacja ... Jednakże, chociaż byłem i nadal jestem kuszony, aby przyjrzeć się takiemu „losowemu” przypisaniu, duża liczba odpowiedzi „nie wiem” powoduje, że obawiam się, że prawdziwe (autentyczne) relacje między zmiennymi będą zmieniony.
usprawnienie
8
+1. Wiem, że to niewygodne, ale ty [OP] możesz wybrać między znalezieniem innego zestawu danych, jeśli chcesz przetestować ten model, a modyfikacją planowanej analizy. Zadałeś pytanie, mając nadzieję na różne odpowiedzi, ale moim zdaniem nie ma żadnych, które można obronić. Gdybym był respondentem takiego kwestionariusza, poczułbym się urażony zniekształceniem i brakiem zaufania do próby traktowania mojego „Nie wiem” jako czegoś innego. W rzeczywistości jako sporadyczny konsument badań społecznych jestem również zaniepokojony.
Nick Cox,
1
Masz oczywiście rację, że zdarzyło się to wcześniej i wiele razy. Dlatego osoby z pewnym doświadczeniem w projektach, które zostały przekierowane lub skomplikowane z powodu nieprzewidzianych problemów, mogą powiedzieć, więc analiza będzie inna i papier nie będzie tak wyobrażony. A nawet czasami projekty po prostu nie działają, więc proszę bardzo. (Jeśli w jakiś sposób jesteś instruowany lub zmuszany do działania, jest to szczególnie niefortunne, ale nie wpływa to na moją radę, jak o tym myśleć.)
Nick Cox
8
@ user2836366 Nie rozumiem twoich twierdzeń, że model nie może być modyfikowany. Z pewnością „nie wiem” nie jest częścią zwykłego zbioru odpowiedzi, ale jest to całkowicie do rzeczy; „Nie wiem” oznacza, że ​​z jakiegokolwiek powodu (włączając w to faktyczną wiedzę) osoba nie wybrała jednej z porządkowych odpowiedzi. Tak więc jedną z takich modyfikacji jest to, że możesz mieć jakiś model dla tego procesu (wybierz „nie wiem” vs „wybierz jedną z pozostałych opcji”), a następnie zwykły model dla przypadków z drugiej kategorii. Takie modele mogą być nieco podobne do modeli przeszkodowych lub modeli o napompowaniu zerowym.
Glen_b
10

Jeśli był to znormalizowany kwestionariusz, który został niezależnie zweryfikowany, nie można twierdzić, że nowy kwestionariusz jest równoważny, a dane nie są już porównywalne. Możesz spróbować zweryfikować i zbadać kwestionariusz w oddzielnych eksperymentach (bardzo czasochłonne i pracochłonne, szczególnie jeśli chcesz również wykazać porównywalność ze starą wersją) lub po prostu zaakceptować, że masz do czynienia z niższą jakością dowodów (ponieważ twoje dane pochodzą z niepotwierdzonego kwestionariusza).

Podczas korzystania z danych będziesz musiał wziąć pod uwagę zmianę. W obliczu pytania o postawę ludzie nie udzielają ci „obiektywnie prawdziwej” odpowiedzi, dają ci odpowiedź, którą uważają za prawdziwą - i na to z pewnością mają wpływ zarówno dostępne opcje odpowiedzi („normują” swoje odpowiedzi do skali) i do posiadanej wiedzy na ten temat (znane są uprzedzenia, które działają inaczej, czasem w różnych kierunkach (!) w zależności od tego, czy uczestnik ma dużą lub małą wiedzę na dany temat).

Tak więc, jeśli mamy do czynienia z ustalonym quesitonnaire, masz dobrą opcję porównania swojej wersji kwestionariusza z oryginalną. Jeśli w oryginale założono, że ludzie wiedzą, co wybierają, i okazuje się, że nie, możesz omówić, w jaki sposób stary model opiera się na błędnych założeniach i jakie są tego konsekwencje. Zauważ, że jest to odkrycie „poboczne”, które stanowi całkiem nowe pytanie badawcze, ale odsuwa cię od pierwotnego, i rzeczywiście pokazuje, że udzielenie odpowiedzi na oryginalne jest znacznie trudniejsze niż myśl, więc z pewnością zwielokrotnia twoją pracę.

Jeśli nie masz do czynienia z ustalonym kwestionariuszem, możesz rzucić okiem i udawać, że kwestionariusz ad hoc został zaplanowany w ten sposób, i odpowiednio ocenić wyniki. Znów może to oznaczać, że wyniki, na które liczyłeś, są nieosiągalne dzięki tej metodzie, ale jest to również ważna rzecz, o której należy wiedzieć.

Aby dobrze zrozumieć, w jaki sposób sformułowania i opcje wpływają na sposób, w jaki kwestionariusze są wypełniane, sugeruję przeczytanie „Psychologii odpowiedzi w ankiecie” Tourangeau i in. Jest to świetna lektura dla każdego, kto kiedykolwiek tworzy kwestionariusz.

rumtscho
źródło
2

Jeśli zapytasz, ile dzieci urodziło respondenta, odpowiedzi „zero” i „nie dotyczy” nie będą oznaczały ściśle tego samego, ponieważ mężczyźni nie mogą rodzić.

W niektórych kontekstach utożsamianie „nie wiem” z reakcją neutralną może być również błędem koncepcyjnym.

W rzeczywistości masz dwa pytania: dychotomiczne „Czy masz zdanie?” i zwykłe „Co to jest?”, podobnie jak powyżej, masz ukryte „Czy jesteś kobietą”? poza twoim wyraźnym pytaniem.

Oczywiście możesz wprowadzić pewne założenia (czasami poprawnie, czasami tylko dla wygody, a czasem wymuszone), aby umożliwić ci modelowanie, ale nie widzę żadnej uniwersalnej strategii bez wchodzenia w sferę specyfiki twojego zjawiska.

Jako ostatni punkt, o którym należy pomyśleć, nie ma sensu próbować wnioskować na temat męskiej populacji na podstawie kobiecych odpowiedzi na płodność.

Marcelo Ventura
źródło
2

Dylemat, czy w kwestionariuszu składającym się ze skal ratingowych typu Likerta należy włączyć czy nie opcję odpowiedzi Nie wiem, jest wieczny. Często, gdy elementy pytają o opinię, DK jest uwzględniana, ponieważ brak opinii jest sam w sobie ważnym statusem i respondenci oczekują takiej opcji. W inwentarzach cech osobistych, w których ludzie przypisują cechy do docelowej opcji DK, zwykle jest pomijany, ponieważ zwykle oczekuje się, że respondent będzie w stanie ocenić stopień powinowactwa cechy (tj. Respondent jest zawsze postrzegany jako wykwalifikowany); a kiedy czasami napotyka trudności, może (z instrukcji) pominąć ten przedmiot. W spisach cech osobistych, w których ludzie opisują cel (elementy behawioralne) DK (lub nie

@Hatim w swojej odpowiedzi, @Maarten i niektórzy komentatorzy pytania PO rozsądnie stwierdzili, że duża liczba odpowiedzi DK zaobserwowanych w bieżącym badaniu wskazuje na problemy (ważność treści lub wartość twarzy) w przedmiotach lub że badani nie „ pasuje do zamówionego im kwestionariusza.

Ale nigdy nie możesz opowiedzieć tej historii, ostatecznie interpretacja przeszkody spoczywa na tobie (chyba że rozwiążesz ją w oddzielnym dochodzeniu). Można na przykład twierdzić, że włączenie opcji DK do sympatii w tym kwestionariuszu (powiedzmy, że jest to spis cech przypisywania) służy źle, a nie dobrze. Nie dostarczył ci informacji (o których mówią komentatorzy it proves that the [rating] model is inadequate), ale raczej rozproszył / uwiódł respondenta. Gdyby nie to, decyzja o ratingu oparta na domyślnym schemacie cech poznawczych mogłaby zostać wywołana; ale zobaczenie opcji chłodzenia wyklucza schemat i powoduje, że można go szybko wycofać.

Jeśli dalej przyznasz - na własne ryzyko, ale dlaczego nie? - że łatwo rozpraszającym się lub leniwym podmiotem jest ten, którego potencjał, powstrzymywany widok jest ważny, ale zwykle jest słabo zróżnicowany - to znaczy, że łatwo przywołałby konwencjonalnego das Mana zamiast osobistego Erlebnisa , schematu - wtedy możesz niepewnie spekulować jego brakująca odpowiedź jest zbliżona do średniej próbki lub populacji dla tego elementu. Jeśli tak, to dlaczego nie oznaczać (+ szum) podstawienia brakujących odpowiedzi? Lub możesz zastosować imputację elektromagnetyczną lub regresyjną (+ szum), aby uwzględnić korelacje.

Powtarzam: decyzja o przypisaniu jest możliwa, ale ryzykowna i jest mało prawdopodobna, biorąc pod uwagę dużą ilość brakujących danych, aby przywrócić „naprawdę” nieobecne dane. Jak powiedział @rumtscho, z pewnością nowy kwestionariusz z DK nie jest równoważny z oryginalnym bez DK, a dane nie są już porównywalne.

To były spekulacje. Ale przede wszystkim powinieneś spróbować zbadać zaobserwowane wzorce zaginięcia. Kim są ci, którzy wybrali DK? Czy łączą się w podtypy? Czym różnią się od pozostałych elementów od podpróbki „w porządku”? Niektóre programy mają pakiet analizy brakujących wartości. Następnie możesz zdecydować, czy porzucić ludzi całkowicie, czy częściowo, przypisać im, czy też przeanalizować je jako osobną podpróbkę.

PS Zauważ też, że respondenci są „głupi”. Często po prostu mieszają się z ocenami skali. Na przykład, jeśli punkt DK był umieszczony blisko jednego bieguna skali, często myliłby się z powodu nieuwagi z tym biegunem. Nie żartuję.

ttnphns
źródło
Cześć, @ttnphns, Cóż, twoja odpowiedź jest zbyt długa, aby wziąć ją punkt po punkcie (już skomentowałem inne odpowiedzi dotyczące niektórych poruszonych tutaj kwestii). Szczerze mówiąc, będę musiał przeczytać to jeszcze raz kilka razy. Jednak dotyczy wszystkiego, czego chciałem.
usprawnienie
0

Masz teraz wybranych respondentów do wyrażenia opinii w tej sprawie. Cokolwiek wyciągniesz, będzie dotyczyło wyłącznie tych ludzi. Może to być OK, ponieważ odpytywanie tych „nie wiem” jest z definicji mniej przydatne.

Aaron Brick
źródło
2
Droll, ale zbyt pesymistyczny. Ci ludzie przedstawili argumenty na temat tego, co można, czego nie wolno, a czego nie należy, a argumenty należy rozważyć. Ta sama odpowiedź może zostać podana w dowolnym wątku tutaj, ale ci, którzy nie zabierają głosu, nie mają nic do powiedzenia.
Nick Cox