Mam bazę danych zawierającą dużą liczbę ekspertów w danej dziedzinie. Dla każdego z tych ekspertów mam różne atrybuty / punkty danych, takie jak:
- liczba lat doświadczenia.
- licencje
- liczba recenzji
- treść tekstowa tych recenzji
- 5 gwiazdek w każdej z tych recenzji z powodu wielu czynników, takich jak szybkość, jakość itp.
- nagrody, stowarzyszenia, konferencje itp.
Chcę przedstawić ocenę tym ekspertom na 10 w oparciu o ich znaczenie. Niektórym ekspertom może brakować niektórych punktów danych. Teraz moje pytanie brzmi: jak wymyślić taki algorytm? Czy ktoś może wskazać mi jakąś istotną literaturę?
Obawiam się również, że tak jak w przypadku wszystkich ocen / recenzji, liczby mogą się wiązać w pobliżu niektórych wartości. Na przykład większość z nich może otrzymać 8 lub 5. Czy istnieje sposób na podkreślenie małych różnic w większej różnicy w wyniku tylko dla niektórych atrybutów.
Niektóre inne dyskusje, które uznałem, mogą być istotne:
Odpowiedzi:
Ludzie wymyślili wiele systemów do oceniania rzeczy (np. Ekspertów) według wielu kryteriów: lista znajduje się na stronie Wikipedii w sprawie analizy decyzji dotyczącej wielu kryteriów . Nie jest jednak dobrze reprezentowana tam jedna z najbardziej obronnych metod: teoria wyceny wielu atrybutów. Obejmuje to zestaw metod oceny kompromisów między zestawami kryteriów w celu (a) ustalenia odpowiedniego sposobu ponownego wyrażenia wartości poszczególnych zmiennych oraz (b) ważenia ponownie wyrażonych wartości w celu uzyskania wyniku w rankingu . Zasady są proste i możliwe do obrony, matematyka jest nienaganna, a teoria nie ma nic wyszukanego. Więcej osób powinno znać i ćwiczyć te metody, niż wymyślać dowolne systemy oceniania.
źródło
Ostatecznie może to nie być wyłącznie badanie statystyczne. PCA to bardzo skuteczna metoda ilościowa, która pozwoli Ci wygenerować wynik lub wagi na pierwszych kilku głównych składnikach, których możesz użyć do rankingu. Jednak wyjaśnienie, jakie są główne elementy, jest bardzo trudne. Są to konstrukcje ilościowe. Nie są dialektyczne. Zatem wyjaśnienie, co naprawdę oznaczają, niekiedy jest niemożliwe. Jest to szczególnie prawdziwe, jeśli masz odbiorców, którzy nie są ilościowi. Nie będą mieli pojęcia o czym mówisz. I pomyśli o twoim PCA jak o jakiejś tajemniczej czarnej skrzynce.
Zamiast tego po prostu zestawiłbym wszystkie odpowiednie zmienne i użyłbym systemu ważenia opartego na tym, co według nas powinno być ważeniem.
Myślę, że jeśli opracujesz to dla osób postronnych, klientów, użytkowników, byłoby wspaniale, gdybyś mógł wprowadzić elastyczność decydowania o wadze dla użytkowników.
Niektórzy użytkownicy mogą cenić lata doświadczenia znacznie bardziej niż certyfikację i vice versa. Jeśli możesz pozostawić im tę decyzję. W ten sposób Twój algorytm nie jest czarną skrzynką, której nie rozumieją i nie jest im wygodnie. Zachowujesz całkowitą przejrzystość i zależy to od ich względnej wyceny tego, co ważne.
źródło
Czy uważasz, że możesz skwantyfikować wszystkie te atrybuty?
Jeśli tak, sugerowałbym przeprowadzenie analizy głównego składnika. W ogólnym przypadku, w którym wszystkie korelacje są dodatnie (a jeśli tak nie jest, można łatwo dostać się za pomocą transformacji), pierwszy główny składnik można uznać za miarę całkowitej ważności eksperta, ponieważ jest on ważony średnia wszystkich atrybutów (a wagi odpowiadałyby udziałowi zmiennych - w tej perspektywie sama metoda ujawni znaczenie każdego atrybutu). Wynik, który każdy ekspert osiąga w pierwszym głównym składniku, jest tym, czego potrzebujesz, aby je uszeregować.
źródło