Ogólna pozycja z wielu list rankingowych

13

Przejrzałem wiele literatury dostępnej online, w tym forum bez powodzenia i mając nadzieję, że ktoś może pomóc w problemach statystycznych, z którymi się obecnie spotykam:

Mam 5 list danych rankingowych, każda zawierająca 10 pozycji w rankingu od pozycji 1 (najlepsza) do pozycji 10 (najgorsza). Ze względów kontekstowych 10 pozycji na każdej liście jest takich samych, ale w różnych porządkach w rankingu, ponieważ technika zastosowana do ustalenia ich rangi jest inna.

Przykładowe dane:

            List 1      List 2      List 3     ... etc
Item 1     Ranked 1    Ranked 2    Ranked 1     
Item 2     Ranked 3    Ranked 1    Ranked 2
Item 3     Ranked 2    Ranked 3    Ranked 3
... etc

Szukam sposobu interpretacji i analizy powyższych danych, aby uzyskać końcowy wynik pokazujący ogólną pozycję każdego elementu na podstawie każdego testu i jego pozycji, np.

Result
Rank 1 = Item 1
Rank 2 = Item 3
Rank 3 = Item 4
... etc

Do tej pory próbowałem zinterpretować te informacje z testów Korelacji Pearsona, Korelacji Spearmana, B Kendalla Tau i Friedmana. Stwierdziłem jednak, że te wyniki ogólnie sparowały moje listy (tj. Porównały listę 1 z listą 2, następnie listę 1 do listy 3 .. itd.) Lub wygenerowałem wyniki takie jak Chi-Square, wartości P itp. Dotyczące ogólnej dane.

Czy ktoś wie, jak mogę zinterpretować te dane w sposób statystycznie rzetelny (na poziomie studiów podyplomowych / doktoranckich), abym mógł zrozumieć ogólne stopnie sygnalizujące znaczenie każdej pozycji na liście w ciągu 5 testów? Lub, jeśli istnieje inny rodzaj techniki lub testu statystycznego, w który mógłbym zajrzeć, byłbym wdzięczny za wszelkie wskazówki lub wskazówki.

(Być może warto również zauważyć, że wykonałem również prostsze techniki matematyczne, takie jak sumy, uśrednianie, testy minimum - maksimum itp., Ale nie uważam, że są one wystarczająco istotne statystycznie na tym poziomie).

Każda pomoc lub rada byłyby bardzo mile widziane, dziękuję za poświęcony czas.

Liam
źródło
1
Znajduję dwa pytania, które odpowiednio zinterpretowane wydają się być duplikatami (i dlatego już dostarczają odpowiedzi): stats.stackexchange.com/search?q=valuation+rank . Czy są odpowiednie? Jeśli nie, pomóż nam zrozumieć, co jest wyjątkowego w twojej sytuacji.
whuber
Dzięki za twoją odpowiedź. Rzuciłem okiem na te artykuły i nie jestem pewien, czy nie są to, czego szukam, czy to wina mojego zrozumienia. Mam wrażenie, że w tych artykułach każdy zestaw danych ma wiele zmiennych o różnych znaczeniach i że rangi mogą być różne lub mieć więcej szczegółowych wartości całkowitych niż tylko ranga. Po prostu szukam statystycznie udowodnionego sposobu, aby móc powiedzieć „ogólnie najważniejszym przedmiotem jest przedmiot X, a następnie Y… i wreszcie (lub najmniej ważny) przedmiot Z”. Prawie rozważam przeanalizowanie tych rang 1-10 jako liczb zwykłych
Liam
1
Jednym z głównych punktów tych wątków jest to, że nie istnieje żaden taki „statystycznie udowodniony sposób”. Jest to kwestia wyceny : każda statystyczna kombinacja wyników odzwierciedla poczucie kompromisów między nimi. Np. Twoimi „przedmiotami” mogą być samochody, a „techniki” mogą uszeregować je według różnych atrybutów: kosztów, efektywności paliwowej, mocy, komfortu itp. Twoje osobiste poczucie „najlepszego” może znacznie różnić się od poczucia kogoś innego i oboje mielibyście rację.
whuber
dostałeś odpowiedź? zostaw komentarz tutaj stats.stackexchange.com/questions/347336/…
Ray Coder

Odpowiedzi:

7

Nie jestem pewien, dlaczego patrzyłeś na korelacje i podobne miary. Wydaje się, że nie ma nic do korelacji.

Zamiast tego istnieje wiele opcji, żadna naprawdę lepsza od innych, ale w zależności od tego, czego chcesz:

Weź średnią rangę, a następnie uszereguj średnie (ale to traktuje dane jako przedział)

Weź medianę rangi, a następnie rangę median (ale może to skutkować powiązaniami)

Weź liczbę głosów za 1. miejsce dla każdego przedmiotu i uszereguj je na tej podstawie

Weź liczbę głosów na ostatnim miejscu i uszereguj je (odwrotnie, oczywiście) na tej podstawie.

Stwórz ważoną kombinację stopni, w zależności od tego, co uważasz za rozsądne.

Peter Flom - Przywróć Monikę
źródło
4
Ważnym punktem w wątkach, do których odwoływałem się w komentarzu - i myślę, że jest to sedno całego problemu - jest to, że wszystkie te metody są arbitralne . Istnieją obiektywne metody, ale wymagają one wykorzystania informacji nieodłącznie związanych z danymi. To sprawia, że ​​jest to raczej problem wyceny niż statystyki.
whuber
Jaką ważoną kombinację rang sugerowałbyś?
Archie
4

Jak zauważyli inni, istnieje wiele opcji, z których możesz skorzystać. Metoda, którą polecam, opiera się na średnich stopniach, tj. Pierwszej propozycji Piotra.

W takim przypadku istotność statystyczną końcowego rankingu można zbadać za pomocą dwuetapowego testu statystycznego. Jest to nieparametryczna procedura składająca się z testu Friedmana z odpowiednim testem post-hoc, testem Nemenyi . Oba są oparte na średnich stopniach. Celem testu Friedmana jest odrzucenie hipotezy zerowej i do wniosku, że nie pewne różnice między przedmiotów. Jeśli tak, przystępujemy do testu Nemenyi, aby dowiedzieć się, które przedmioty faktycznie się różnią. (Nie rozpoczynamy bezpośrednio od testu post-hoc, aby uniknąć znaczenia znalezionego przypadkowo.)

Więcej szczegółów, takich jak wartości krytyczne dla obu testów, można znaleźć w pracy Demsara .

Weiwei
źródło
2

Użyj Tau-x (gdzie „x” odnosi się do „eXtended” Tau-b). Tau-x jest ekwiwalentem korelacji metryki odległości Kemeny-Snell - udowodniono, że jest unikalną metryką odległości między listami pozycji rankingowych, która spełnia wszystkie wymagania metryki odległości. Patrz rozdział 2 „Modele matematyczne w naukach społecznych” Kemeny'ego i Snella, także „Nowy współczynnik korelacji rangi w zastosowaniu do problemu rankingu konsensusu”, Edward Emond, David Mason, Journal of Multi-Criteria Decision Analysis, 11: 17- 28 (2002).

Stephen
źródło