Istotność statystyczna zmian w czasie dla 5-punktowej pozycji Likerta

9

Kontekst:

Mam dwa zestawy danych z tego samego kwestionariusza przeprowadzonego przez dwa lata. Każde pytanie mierzone jest za pomocą 5-stopniowej skali.

Q1: Schemat kodowania

W tej chwili zakodowałem swoje odpowiedzi w przedziale [0, 1], gdzie 0 oznacza „najbardziej negatywną odpowiedź”, 1 oznacza „najbardziej pozytywną odpowiedź”, a inne odpowiedzi są rozmieszczone równomiernie.

  • Jakiego „najlepszego” schematu kodowania użyć w skali Likerta?

Zdaję sobie sprawę, że może to być nieco subiektywne.

Q2: Znaczenie na przestrzeni lat

  • Jaki jest najlepszy sposób ustalenia, czy nastąpiła statystycznie istotna zmiana w ciągu dwóch lat?

To znaczy, patrząc na wyniki dla pytania 1 dla każdego roku, jak stwierdzić, czy różnica między wynikiem z 2011 r. A wynikiem z 2010 r. Jest statystycznie znacząca? Mam niejasne wspomnienie o zastosowaniu testu t Studenta, ale nie jestem pewien.

Prochowiec
źródło

Odpowiedzi:

7

1. Schemat kodowania

Pod względem oceny istotności statystycznej za pomocą testu t istotne są względne odległości między punktami skali. Zatem (0, 0,25, 0,5, 0,75, 1) jest równoważne z (1, 2, 3, 4, 5). Z mojego doświadczenia wynika, że ​​schemat kodowania równej odległości, taki jak te wspomniane wcześniej, jest najbardziej powszechny i ​​wydaje się rozsądny w przypadku elementów Likerta. Jeśli odkryjesz optymalne skalowanie, być może będziesz w stanie uzyskać alternatywny schemat kodowania.

2. Test statystyczny

Kwestia sposobu dokonywania oceny różnic między grupami na pozycji Likerta już odpowiedział tutaj .

Pierwszą kwestią jest to, czy można połączyć obserwacje między dwoma punktami czasowymi. Wygląda na to, że miałeś inną próbkę. Prowadzi to do kilku opcji:

  • Test t niezależnych grup : jest to prosta opcja; testuje również różnice w środkach grupy; puryści twierdzą, że wartość p może nie być całkowicie dokładna; jednak w zależności od celów może być wystarczające.
  • Test początkowy różnic w średnich grupowych : Jeśli nadal chcesz testować różnice między średnimi grupowymi, ale czujesz się niekomfortowo z dyskretną naturą zmiennej zależnej, możesz użyć bootstrapu, aby wygenerować przedziały ufności, z których można wyciągnąć wnioski na temat zmian w średnich grupowych .
  • Test U Manna-Whitneya (wśród innych testów nieparametrycznych): Taki test nie zakłada normalności, ale testuje także inną hipotezę.
Jeromy Anglim
źródło
więc w skrócie, nie widzisz nic złego w tym, co zaproponowałem (kodowanie równej odległości, test istotności testu t), poza innymi opcjami, które mogą być bardziej dokładne?
Mac
@Mac Moim zdaniem, biorąc pod uwagę bardziej stosowaną perspektywę, jest to proste, łatwe do zrozumienia, łatwe do komunikowania się i ogólnie rozsądne podejście. Jednak często warto rozważyć pomiar interesujących konstrukcji przy użyciu skal zamiast pojedynczych pozycji.
Jeromy Anglim,
Zgoda. Wierzę jednak, że to, czego potrzebuję, zrobi. Wielkie dzięki!
Mac
tylko zauważyć, że test t może być dość wrażliwy na różnice w wariancji, więc prawdopodobnie byłoby to coś, co należy sprawdzić przed podjęciem ostatecznej decyzji
richiemorrisroe
@Mac / cc @richiemorrisroe Moim zdaniem, oprócz założenia homoscedastyczności (które jest nieco omijane testem t Welcha), problem dotyczy głównie asymetrycznych rozkładów odpowiedzi (efekt sufitu lub podłogi), które często pojawiają się przy stosowaniu przedmiotów Likerta.
chl
3

Wilcoxon Ranksum Test znany również jako Mann-Whitney jest dobrym rozwiązaniem w przypadku danych porządkowych. Rozwiązanie do ładowania początkowego jest również eleganckie, choć nie jest to „klasyczny” sposób. Metoda ładowania początkowego może być również cenna w przypadku, gdy dążysz do innych rzeczy, takich jak analiza czynnikowa. W przypadku analizy regresji możesz wybrać zamówiony probit lub logit jako specyfikację modelu.

BTW: Jeśli Twoja skala ma większy zakres (> 10 wartości na zmienną), możesz użyć wyników jako zmiennej metrycznej, co czyni test t bezpiecznym wyborem. Pamiętaj, że jest to trochę brudne i przez niektórych może być uważane za dzieło diabła.

stephan


źródło
1
Czy możesz rozwinąć, w jaki sposób bootstrap zapewniłby bardziej interesujące podejście do analizy czynników?
chl
Chciałbym dowiedzieć się więcej o tym, dlaczego test Manna-Whitneya byłby faworyzowany w porównaniu z testem t tutaj.
whuber