Opracowuję kwestionariusz. Aby poprawić jego niezawodność i aktualność, chcę zastosować metody statystyczne.
Chcę wyeliminować pytania, których odpowiedzi są zawsze takie same. Oznacza to, że prawie wszyscy uczestnicy udzielili takich samych odpowiedzi na te pytania.
Teraz moje pytania to:
- Jaki jest termin techniczny na takie bezużyteczne pytania, których odpowiedzi są zawsze takie same, niezależnie od kontekstu użytkowania?
- Jakie są metody identyfikacji takich pytań?
Odpowiedzi:
Zarówno klasyczna teoria testów (CTT), jak i teoria odpowiedzi na elementy (IRT) mogą dostarczyć wskazówek, które elementy przyczyniają się do ukrytej cechy, którą chcesz zmierzyć, a które nie. W przypadku CTT rozważ 1) trudność przedmiotu, 2) korelację przedmiotu z całkowitym wynikiem, 3) wariancję przedmiotu i 4) wpływ na oszacowania wewnętrznej spójności (np. Alfa Cronbacha), jeśli przedmiot zostanie usunięty.
Elementy, które są zbyt łatwe lub zbyt trudne, zwykle nie pomagają w oddzieleniu przedmiotu (rozróżnienie między osobami o wysokim i niskim wyniku). Jeśli nie jesteś zainteresowany pomiarem różnic między najlepszymi, należy rozważyć bardzo trudne pytania do usunięcia. W podobny sposób bardzo proste przedmioty są odpowiednie tylko wtedy, gdy interesuje Cię wydajność słabych wyników.
Wszystkie elementy powinny korelować dodatnio z całkowitym wynikiem i możesz ustalić dolną granicę dla tej korelacji około 0,20 jako orientację. Niskie korelacje lub korelacje ujemne mogą wskazywać, że w kwestionariuszu występują problemy z sformułowaniem i że pytanie powinno zostać odwrócone.
Pozycje o niskiej wariancji (zmienność wyników) należy rozważyć do usunięcia, ponieważ nie rozdzielają one przedmiotów i nie przyczyniają się do informacji zebranych z ankiety. Przedmioty o bardzo dużej wariancji mogą mierzyć coś innego niż konstrukcję / cechę, którą chcesz zmierzyć.
Jeśli oszacowanie wewnętrznej spójności poprawi się po usunięciu elementu, wówczas element należy rozważyć do usunięcia lub przeformułowania.
Elementy, które wszyscy poprawiają, są czasami maksymalnymi przedmiotami, a te, które wszyscy się mylą, są czasami nazywane elementami minimalnymi. Nie przyczyniają się do informacji, które próbujesz zgromadzić.
Jeśli opracowujesz kwestionariusz wysokiego ryzyka lub planujesz marketing kwestionariusza, zdecydowanie powinieneś rozważyć IRT. Jest to jednak duży obszar tematyczny i chyba, że jesteś naprawdę zainteresowany, prawdopodobnie nie warto tu zajmować miejsca.
Mam nadzieję że to pomoże.
źródło
Uważam, że szukasz Teorii Reakcji na Przedmiot. „Bezużyteczne” pytania, na które się powołujesz, są produktami o złej dyskryminacji. Za pomocą analizy IRT możesz obliczyć dyskryminację, trudność i związane z nią prawdopodobieństwo zgadnięcia przedmiotów przez uczestników ankiety. Program R ma łatwy pakiet do używania IRT i wyobrażam sobie, że robią to również inne pakiety oprogramowania statystycznego.
Jeśli chcesz szybki przegląd tutaj, jest strona wikipedia, ale radziłbym zbadać ją bardziej. http://en.wikipedia.org/wiki/Item_response_theory
źródło