Załóżmy, że każdy z ekspertów jest proszony o uszeregowanie zestawu obiektów w kolejności lub preferencjach. Pozwól na remisy w rankingach.
John Kemeny i Laurie Snell w swojej książce z 1962 roku „Modele matematyczne w naukach społecznych” proponują rozwiązanie następnego problemu:
PROJEKT . Opracuj miarę wiarygodności rankingu konsensusu przez ekspertów. Na przykład może to być oparte na największej możliwej zmianie, którą można wprowadzić, zmieniając ranking pojedynczego eksperta. (Należy zwrócić uwagę na możliwość wielu rankingów konsensusu.) Udowodnij kilka twierdzeń dotyczących najbardziej i najmniej wiarygodnych konsensusów możliwych dla danego .
Książka daje notację dla rankingów i metodę agregacji rankingów (tj. Uzyskanie jednego „kolektywnego” rankingu od wielu „osób”). Ale nie podano odpowiedzi na powyższy problem.
Najpierw myślałem o Kendalla współczynnika konkordancji , ale wygląda na to, że nie pasuje. Wszelkie pomysły są mile widziane!
źródło