Wikipedia sugeruje, że jednym ze sposobów spojrzenia na wiarygodność między oceniającymi jest zastosowanie modelu efektów losowych do obliczenia korelacji wewnątrzklasowej . Przykład korelacji wewnątrzklasowej mówi o spojrzeniu
z modelu
„gdzie Y ij jest j th obserwacji w i -tego grupy, μ jest niezauważalna ogólny średni, α i jest niezauważalna efekt losowy podzielane przez wszystkich wartości w grupie I, a ε ij jest niezauważalna termin hałas.”
Jest to atrakcyjny model, szczególnie dlatego, że w moich danych żaden oceniający nie ocenił wszystkich rzeczy (chociaż większość ocenił 20+), a rzeczy są oceniane zmienną liczbę razy (zwykle 3-4).
Pytanie nr 0: Czy „grupa i” w tym przykładzie („grupa i”) to grupa rzeczy ocenianych?
Pytanie nr 1: Jeśli szukam niezawodności między oceniającymi, czy nie potrzebuję modelu efektów losowych z dwoma terminami, jednym dla oceniającego, a drugim dla ocenianej rzeczy? W końcu oba mają możliwe warianty.
Pytanie nr 2: Jak najlepiej wyrazić ten model w języku R?
Wygląda na to, że to pytanie ma ładną propozycję:
lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)
Spojrzałem na kilka pytań , a składnia parametru „losowego” dla lme jest dla mnie nieprzejrzysta. Przeczytałem stronę pomocy dla lme , ale opis „losowy” jest dla mnie niezrozumiały bez przykładów.
To pytanie jest nieco podobny do długiej listy z pytaniami , z tego najbliżej. Jednak większość nie odnosi się szczegółowo do R.
Odpowiedzi:
Model wymieniony w pytaniu nazywa się „modelem jednokierunkowym”. Zakłada, że losowe efekty rzędu są jedynym systematycznym źródłem wariancji. W przypadku wiarygodności między oceniającymi rzędy odpowiadają obiektom pomiaru (np. Przedmiotom).
Istnieją jednak również „modele dwukierunkowe”. Zakładają one, że istnieje wariancja związana z losowymi efektami wierszy, a także losowymi lub stałymi efektami kolumnowymi. W przypadku wiarygodności międzyosobniczej kolumny odpowiadają źródłom pomiaru (np. Wskaźnikom).
Biorąc pod uwagę model dwukierunkowy, można obliczyć jeden z czterech współczynników ICC: spójność pojedynczego wyniku ICC (C, 1), spójność średniej oceny ICC (C, k), zgodność pojedynczego wyniku ICC (A, 1) lub średni wynik punktowy ICC (A, k). ICC z pojedynczą punktacją odnoszą się do pojedynczych pomiarów (np. Poszczególnych wskaźników), podczas gdy ICC z średnią oceną odnoszą się do średnich pomiarów (np. Średnia z wszystkich wskaźników). Spójności ICC wykluczają wariancję kolumny z wariancji mianownika (np. Pozwalając wskaźnikom zmieniać się wokół własnych środków), podczas gdy ICC zgodności obejmują wariancję kolumny w wariancji mianownika (np. Wymagając, aby wskaźniki zmieniają się wokół tej samej średniej).xI j x¯ja
Oto definicje, jeśli założymy przypadkowy efekt kolumny:
Możesz również oszacować te wartości, używając średnich kwadratów z ANOVA:
Możesz obliczyć te współczynniki w R za pomocą pakietu ir :
Bibliografia
McGraw, KO i Wong, SP (1996). Formułowanie wniosków na temat niektórych wewnątrzklasowych współczynników korelacji. Metody psychologiczne, 1 (1), 30–46.
Shrout, PE i Fleiss, JL (1979). Korelacje międzyklasowe: Wykorzystuje się do oceny wiarygodności oceny. Biuletyn psychologiczny, 86 (2), 420–428.
źródło