Jak zobrazować wyniki subiektywnego porządku rang?

17

Szukam sposobu na wizualizację subiektywnych rankingów, niezależnych od moich testów nieparametrycznych.

Poprosiłem 12 uczestników o uszeregowanie 8 różnych pozycji według różnych subiektywnych kryteriów (osobne rankingi dla każdego z nich). Dla każdego indywidualnego zestawu rankingów szukam dobrego sposobu na wizualizację trendów wysokiego poziomu w rankingach.

Próbowałem zarówno wykresów słupkowych, jak i radarowych na średnich rankingach i widziałem, jak jedna inna osoba używa wykresu rozproszenia / balonu w stosunku do liczby odpowiedzi na ranking, ale nie jestem do końca pewna, co daje najlepszy przegląd. Mogę użyć 8 średnich rankingów lub 8 liczb każdego rankingu na pozycję.

Edytować:

Na przykład: Każda kolumna to pozycja, każdy wiersz to ranking każdej osoby z ośmiu pozycji. W tym przykładzie nie jest to szczególnie silna zgoda, ale ogólnie chciałbym zrozumieć najlepszy sposób przekazania ogólnych trendów.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4
Jesse
źródło
Może to pomóc, jeśli możesz wymienić niektóre swoje dane. Z jakiego oprogramowania prawdopodobnie będziesz korzystać?
gung - Przywróć Monikę
Dodałem przykładową matrycę i prawdopodobnie będę rysował w Excelu.
Jesse
Czy próbujesz wyświetlić rangę przedmiotu lub umowę między oceniającymi (lub obie te rzeczy)?
whuber
1
Pytałem konkretnie o rangę przedmiotów, ale jeśli istnieje dobry sposób na wykazanie zgody między oceniającymi poza czymś innym niż W Kendalla, tym lepiej.
Jesse
Możesz wykreślić empiryczny CDF każdej kolumny. To wyglądałoby jak (cały bałagan) krzywych ROC. Nie jestem jednak pewien, co by wyskoczyło, gdybyś to zrobił.
shabbychef

Odpowiedzi:

8

Zrobiłem coś podobnego do wizualizacji podobnych rankingów. Metoda, którą zastosowałem, dała mi szybki obraz tego, jak rankingi się nie odnosiły - nic więcej. Moje rozwiązanie wykorzystało wykresy przebiegu w czasie w programie Excel 2010, aby utworzyć widok rankingów o małych wielokrotnościach (można to zrobić w innych wersjach programu Excel, ale zajmuje to trochę więcej pracy). Ponadto generalnie używam funkcji tabeli programu Excel tylko po to, aby przyspieszyć.

  1. Przełóż macierz, aby wiersze zawierały wszystkie wartości według ocenianego elementu.
  2. Jeśli ranga 1 jest najlepsza, odwróć swoje szeregi, aby 1 = 8,2 = 7 ... to po prostu pomaga lepiej wizualizować kolumny wykresu (zamiast pustej spacji).
  3. Zsumuj wyniki wskaźników każdego pytania. Następnie posortuj według tej sumy. Spowoduje to umieszczenie elementu z najlepszymi ogólnymi wynikami na pierwszym miejscu, a najgorszymi ogólnymi wynikami na końcu. Ten ranking pomoże ci wizualnie uszeregować wykresy, gdy ogólny wzorzec może nie być oczywisty (jak miało to miejsce w przykładowych danych).
  4. Wstaw wykresy przebiegu w czasie za pomocą danych rankingu (bez kolumny sum) obok tabeli danych. Wizualnie, im więcej / więcej pasków, tym lepszy ogólny ranking.

W tym podejściu nie ma nic szczególnie analitycznego, ale jest to dość szybki sposób na wizualizację danych.

Subiektywne rankingi

Uwaga: jeśli nie masz programu Excel 2010, możesz utworzyć uproszczone wykresy kolumnowe wielkości komórki dla każdego wiersza, który wygląda mniej więcej tak samo. Możesz też użyć dodatku innej firmy, aby je utworzyć.

EDYCJA: Tabela i wykres wykorzystujący sugestię Gunga do pomiaru średniej. Jak wskazano, ponieważ skala jest podobna, została dodana do wykresu jako dodatkowy punkt porównania (użyłem szarego, aby odróżnić ją od wykresów surowych danych).

wprowadź opis zdjęcia tutaj

dav
źródło
3
+1, to naprawdę miłe, proste rozwiązanie dla tej sytuacji. Jedną małą sugestią, którą chciałbym zrobić, jest użycie średnich zamiast sum w kroku # 3. To tak naprawdę nic nie zmieni, ale przywraca sumę do pierwotnej skali, co może ułatwić interpretację wartości.
gung - Przywróć Monikę
@gung, dzięki za opinie. Myślę, że używanie średnich naprawdę działa dobrze (jak wyżej). Nigdy nie lubiłem używać sum, ale nie zastanawiałem się nad dobrą alternatywą.
dav
2

Zrobiłbym to w formie wykresu wypukłości. Wygląda na dość zagracony, więc pracowałem z kolorami, aby spróbować temu zaradzić.

Sparkline sugerowane przez @dav tak naprawdę nie pozwalają na porównanie między produktami.

wprowadź opis zdjęcia tutaj

Jon Peltier
źródło
Myślę, że ten wykres byłby doskonały, gdyby rozmiary kropek były skalowane w odwrotnej kolejności od 8 (najmniejszych) do 1 (największych). Myślę, że trendy mogą wyskoczyć bardziej w ten sposób.
Brandon Bertelsen
1

Wiem, że to pytanie ma siedem lat i widzę, że plakat jest AWOL, ale doceniam pytanie, które obejmuje dane ...

Wygląda na to, że trendy oceny produktu są raczej problemem poszczególnych mierników. W takim przypadku można poznać trendy na wysokim poziomie, wykreślając średnie i przedział ufności dla każdego produktu.

wprowadź opis zdjęcia tutaj

Przynajmniej widzimy, że C i D wydają się gorsze od innych (zakładając, że 8 to najgorszy ranking). Może A, B i C mają więcej niezgody niż inni.

Jeśli poszczególne mierniki są ważne w przekazywaniu, możesz użyć różnych znaków i kolorów dla kropek każdego oceniającego.

Xan
źródło