Porównanie list rankingowych

Załóżmy, że każda z dwóch grup, składająca się z i n 2, zajmuje zestaw 25 pozycji od najważniejszych do najmniej ważnych. Jakie są najlepsze sposoby na porównanie tych rankingów?$n_1$$n_2$

Oczywiście możliwe jest wykonanie 25 testów U Manna-Whitneya, ale dałoby to 25 wyników testu do interpretacji, co może być zbyt wiele (i przy ścisłym użyciu powoduje pytania o wielokrotne porównania). Nie jest też dla mnie całkowicie jasne, czy szeregi spełniają wszystkie założenia tego testu.

Byłbym również zainteresowany wskazówkami do literatury na temat oceniania vs. rankingu.

Trochę kontekstu: wszystkie te 25 pozycji dotyczą edukacji, a dwie grupy są różnymi typami nauczycieli. Obie grupy są małe.

EDYCJA w odpowiedzi na @ttnphns:

Nie chciałem porównywać całkowitej rangi przedmiotów w grupie 1 do grupy 2 - byłoby to stałe, jak wskazuje @ttnphns. Ale rankingi w grupie 1 i grupie 2 będą się różnić; to znaczy, grupa 1 może uszeregować pozycję 1 wyżej niż grupa 2.

Mógłbym je porównać, pozycja po pozycji, uzyskanie średniej lub mediany rangi każdego przedmiotu i wykonanie 25 testów, ale zastanawiałem się, czy jest jakiś lepszy sposób, aby to zrobić.

streszczenie

Dzielę się swoimi przemyśleniami w dziale Szczegóły . Myślę, że są one przydatne w określeniu, co naprawdę chcemy osiągnąć.

Myślę, że głównym problemem jest to, że nie zdefiniowałeś, co oznacza podobieństwo rang. Dlatego nikt nie wie, która metoda pomiaru różnicy między szeregami jest lepsza.

W efekcie pozwala nam to dwuznacznie wybrać metodę opartą na domysłach.

To, co naprawdę sugeruję, to najpierw zdefiniować matematyczny cel optymalizacji. Tylko wtedy będziemy pewni, czy naprawdę wiemy, czego chcemy.

Dopóki tego nie zrobimy, naprawdę nie wiemy, czego chcemy. Możemy niemal wiedzieć, co chcemy, ale prawie wiedząc wiedząc .$\ne$

Mój tekst w Szczegółach jest zasadniczo krokiem w kierunku matematycznej definicji podobieństwa rang . Kiedy już to osiągniemy, możemy śmiało iść do przodu, aby wybrać najlepszą metodę pomiaru takiego podobieństwa.

Detale

Na podstawie jednego z twoich komentarzy:

• „ Celem jest sprawdzenie, czy rankingi dwóch grup się różnią ”, Peter Flom.

Aby odpowiedzieć na to pytanie, jednocześnie ściśle interpretując cel:

• $i \in \{1,2,\ldots,25\}$$i$$a_i \ne b_i$$a_i$$i$$a$$b_i$$b$
• W przeciwnym razie szeregi nie są różne.

Ale nie sądzę, że naprawdę chcesz tej ścisłej interpretacji. Dlatego myślę, że tak naprawdę chciałeś powiedzieć:

• $a$$b$

$a$$b$

$n$$1$$3$$a$$b$$3$

Ale czy ta metoda jest odpowiednia? Aby odpowiedzieć na to pytanie, spójrzmy na to nieco głębiej:

• $a,b$$3$$c,d$$123$$a,b$$c,d$$c,d$

• Zakłada, że ​​koszt każdej edycji jest liniowy w odniesieniu do liczby przeskoków. Czy dotyczy to naszej domeny aplikacji? Czy to możliwe, że relacja logistyczna jest bardziej odpowiednia? Czy wykładniczy ?

• $1$$5$

Gdy zajmiemy się powyższymi punktami i osiągniemy odpowiedni stopień podobieństwa między dwoma szeregami, będziemy musieli zadać bardziej interesujące pytania, takie jak:

• $a$$b$

To brzmi jak „test podpisanej rangi Willcoxona” ( link wikipedia ). Zakładając, że wartości twoich rang pochodzą z tego samego zestawu (tj. [1, 25]), To jest to test różnicy par (z hipotezą zerową, że te pary zostały wybrane losowo). Uwaga: jest to wynik braku podobieństwa!

Na tej stronie wiki znajdują się zarówno linki, jak Ri Pythonimplementacje.

Ostrzeżenie: to świetne pytanie i nie znam odpowiedzi, więc jest to raczej „to, co bym zrobił, gdybym musiał”:

W tym problemie istnieje wiele stopni swobody i wiele porównań, które można zrobić, ale przy ograniczonych danych tak naprawdę chodzi o efektywne agregowanie danych. Jeśli nie wiesz, jaki test uruchomić, zawsze możesz go „wymyślić”, używając permutacji:

Najpierw definiujemy dwie funkcje:

• Funkcja głosowania : jak oceniać rankingi, abyśmy mogli łączyć wszystkie rankingi jednej grupy. Na przykład możesz przypisać 1 punkt do pozycji o najwyższej pozycji, a 0 wszystkim pozostałym. Tracilibyście jednak wiele informacji, więc może lepiej jest użyć czegoś takiego: pozycja najwyżej punktowana dostaje 1 punkt, druga pozycja 2 punkty itp.

• Funkcja porównania : Jak porównać dwa zagregowane wyniki między dwiema grupami. Ponieważ oba będą wektorem, zadziałałoby przyjęcie odpowiedniej normy różnicy.

Teraz wykonaj następujące czynności:

1. Najpierw oblicz statystyki testowe, obliczając średni wynik za pomocą funkcji głosowania dla każdej pozycji w dwóch grupach, co powinno prowadzić do dwóch wektorów o rozmiarze 25.
2. Następnie porównaj dwa wyniki za pomocą funkcji porównania, będzie to twoja statystyka testowa.

Problem polega na tym, że nie znamy rozkładu statystyki testowej poniżej zera, że ​​obie grupy są takie same. Ale jeśli są takie same, moglibyśmy losowo potasować obserwacje między grupami.

$n_1$

Powtórz ten proces około 1000 razy, a teraz wykorzystaj statystyki testu permutacji jako empiryczny rozkład zerowy. To pozwoli ci obliczyć wartość p, i nie zapomnij zrobić ładnego histogramu i narysować linię dla statystyki testowej w następujący sposób:

$l_1$$l_1$$l_2$

Ale w zależności od ustawienia, spodziewam się, że może istnieć wiele losowości i będziesz potrzebować dość dużej wielkości próbki, aby metoda metody catch-all działała. Jeśli masz wcześniejszą wiedzę na temat konkretnych rzeczy, które Twoim zdaniem mogą różnić się między obiema grupami (powiedzmy konkretne elementy), użyj ich, aby dostosować swoje dwie funkcje. (Oczywiście zwykle należy to zrobić przed uruchomieniem testu i nie wybierać projektów, dopóki nie pojawi się coś znaczącego )

PS napisz do mnie wiadomość, jeśli jesteś zainteresowany moim (niechlujnym) kodem. Tutaj jest trochę za długo, ale chętnie go załaduję.