Obliczanie wariancji Kappa Cohena (i standardowych błędów)

Statystyka Kappa ( ) została wprowadzona w 1960 roku przez Cohena [1] w celu zmierzenia zgodności między dwoma wskaźnikami. Ta wariancja była jednak źródłem sprzeczności od dłuższego czasu.$\kappa$

Moje pytanie dotyczy tego, które jest najlepsze obliczenie wariancji do zastosowania z dużymi próbkami. Jestem skłonny wierzyć, że ten przetestowany i zweryfikowany przez Fleiss [2] byłby właściwym wyborem, ale nie wydaje się, aby był to jedyny opublikowany, który wydaje się poprawny (i używany w dość nowej literaturze).

Obecnie mam dwa konkretne sposoby obliczenia asymptotycznej wariancji dużej próbki:

• Poprawiona metoda opublikowana przez Fleiss, Cohen i Everitt [2];
• Metoda delta, którą można znaleźć w książce Colgatona, 2009 [4] (strona 106).

Aby zilustrować niektóre z tych nieporozumień, oto cytat Fleissa, Cohena i Everitta [2], podkreśl moje:

Wiele ludzkich wysiłków zostało przeklętych powtarzającymi się niepowodzeniami, zanim osiągnięto ostateczny sukces. Jednym z przykładów jest skalowanie Mount Everest. Odkrycie Pasażu Północno-Zachodniego to sekunda. Wyprowadzenie poprawnego błędu standardowego dla kappa jest trzecim .

Oto krótkie podsumowanie tego, co się stało:

• 1960: Cohen publikuje swój artykuł „Współczynnik zgodności dla skal nominalnych” [1], wprowadzając skorygowaną szansą miarę zgodności między dwoma miernikami o nazwie . Publikuje jednak nieprawidłowe formuły do ​​obliczeń wariancji.$\kappa$
• 1968: Everitt próbuje je poprawić, ale jego formuły również są niepoprawne.
• 1969: Fleiss, Cohen i Everitt publikują poprawne formuły w artykule „Large Sample Standard Errors Of Kappa and Weighted Kappa” [2].
• 1971: Fleiss publikuje inną statystykę (ale inną) pod tą samą nazwą, z niepoprawnymi formułami dla wariancji.$\kappa$
• 1979: Fleiss Nee i Landis publikują poprawione formuły dla Fleiss ' .$\kappa$

Najpierw rozważ następującą notację. Zapis ten oznacza, że ​​operator sumowania należy zastosować do wszystkich elementów w wymiarze, nad którym umieszczona jest kropka:

$\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij}$ $\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij}$

Teraz można obliczyć Kappa jako:

$\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e}$

W którym

$\ \ \ p_o = \displaystyle\sum_{i=1}^{k} p_{ii}$ to przestrzegana zgoda, i

$\ \ \ p_c = \displaystyle\sum_{i=1}^{k} p_{i.} p_{.i}$ jest umową losową.

Jak dotąd prawidłowe obliczenie wariancji dla Cohena podaje:$\kappa$

$\ \ \ \newcommand{\var}{\mathrm{var}}\widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^4} \{ \displaystyle\sum_{i=1}^{k} p_{ii}[(1-p_o) - (p_{.i} + p_{i.})(1-p_o)]^2 \\ \ \ \ + (1-p_o)^2 \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1 \atop i\not=j}^{k} p_{ij} (p_{.i} + p_{j.})^2 - (p_op_c-2p_c+p_o)^2 \}$

a pod hipotezą zerową podaje ją:

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^2} \{ \displaystyle\sum_{i=1}^{k} p_{.i}p_{i.} [1- (p_{.i} + p_{i.})^2] + \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1, i\not=j}^{k} p_{.i}p_{j.}(p_{.i} + p_{j.})^2 - p_c^2 \}$

Metoda Congaltona wydaje się opierać na metodzie delta do uzyskiwania wariancji (Agresti, 1990; Agresti, 2002); jednak nie jestem pewien, co to jest metoda delta ani dlaczego należy jej użyć. wariancji w ramach tej metody jest dana przez:$\kappa$

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{n} \{ \frac{\theta_1 (1-\theta_1)}{(1-\theta_2)^2} + \frac{2(1-\theta_1)(2\theta_1\theta_2-\theta_3)}{(1-\theta_2)^3} + \frac{(1-\theta_1)^2(\theta_4-4\theta_2^2)}{(1-\theta_2)^4} \}$

w którym

$\ \ \ \theta_1 = \frac{1}{n} \displaystyle\sum_{i=1}^{k} n_{ii}$

$\ \ \ \theta_2 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{i+}n_{+i}$

$\ \ \ \theta_3 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{ii}(n_{i+} + n_{+i})$

$\ \ \ \theta_4 = \frac{1}{n^3} \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{k} n_{ij}(n_{j+} + n_{+i})^2$

(Congalton używa indeksu zamiast a , Ale wydaje się to znaczyć to samo. Ponadto przypuszczam, że powinna być macierzą liczącą, tj. Macierzą pomieszania, zanim zostanie podzielona przez liczbę próbek jako powiązane wzorem )$+$$.$$n_{ij}$$p_{ij} = \frac{n_{ij}}{\mathrm{samples}}$

Inną dziwną częścią jest to, że książka Colgatona zdaje się odwoływać do oryginalnej pracy Cohena, ale nie wydaje się przytaczać poprawek do wariancji Kappa opublikowanej przez Fleiss i in., Dopóki nie omówi ważonej Kappy. Być może jego pierwsza publikacja została napisana, gdy prawdziwa formuła kappa wciąż była zagubiona?

Czy ktoś jest w stanie wyjaśnić, dlaczego te różnice? Albo dlaczego ktoś miałby używać wariancji metody delta zamiast poprawionej wersji Fleiss?

[1]: Fleiss, Joseph L .; Cohen, Jakub; Everitt, BS; Duże przykładowe błędy standardowe kappa i ważonej kappa. Psychological Bulletin, tom 72 (5), listopad 1969, 323-327. doi: 10.1037 / h0028106

[2]: Cohen, Jacob (1960). Współczynnik zgodności dla skal nominalnych. Pomiary edukacyjne i psychologiczne 20 (1): 37–46. DOI: 10.1177 / 001316446002000104.

[3]: Alan Agresti, Analiza danych kategorialnych, wydanie drugie. John Wiley and Sons, 2002.

[4]: Russell G. Congalton i Green, K .; Ocena dokładności danych wykrywanych zdalnie: zasady i praktyki, wydanie drugie. 2009.

Nie wiem, który z dwóch sposobów obliczania wariancji jest preferowany, ale mogę podać trzeci, praktyczny i użyteczny sposób obliczania ufności / wiarygodnych przedziałów przy użyciu bayesowskiej oceny Kappa Cohena.

Poniższy kod R i JAGS generuje próbki MCMC z tylnego rozkładu wiarygodnych wartości Kappa, biorąc pod uwagę dane.

library(rjags)
library(coda)
library(psych)

# Creating some mock data
rater1 <- c(1, 2, 3, 1, 1, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3) 
rater2 <- c(1, 2, 2, 1, 2, 2, 3, 1, 3, 1, 2, 3, 2, 1, 1) 
agreement <- rater1 == rater2
n_categories <- 3
n_ratings <- 15

# The JAGS model definition, should work in WinBugs with minimal modification
kohen_model_string <- "model {
  kappa <- (p_agreement - chance_agreement) / (1 - chance_agreement)
  chance_agreement <- sum(p1 * p2)

  for(i in 1:n_ratings) {
    rater1[i] ~ dcat(p1)
    rater2[i] ~ dcat(p2)
    agreement[i] ~ dbern(p_agreement)
  }

  # Uniform priors on all parameters
  p1 ~ ddirch(alpha)
  p2 ~ ddirch(alpha)
  p_agreement ~ dbeta(1, 1)
  for(cat_i in 1:n_categories) {
    alpha[cat_i] <- 1
  }
}"

# Running the model
kohen_model <- jags.model(file = textConnection(kohen_model_string),
                 data = list(rater1 = rater1, rater2 = rater2,
                   agreement = agreement, n_categories = n_categories,
                   n_ratings = n_ratings),
                 n.chains= 1, n.adapt= 1000)

update(kohen_model, 10000)
mcmc_samples <- coda.samples(kohen_model, variable.names="kappa", n.iter=20000)

Poniższy wykres pokazuje wykres gęstości próbek MCMC z tylnego rozkładu Kappa.

Korzystając z próbek MCMC, możemy teraz użyć wartości mediany jako oszacowania Kappa i użyć kwantyli 2,5% i 97,5% jako 95% przedział ufności / wiarygodności.

summary(mcmc_samples)$quantiles
##      2.5%        25%        50%        75%      97.5% 
## 0.01688361 0.26103573 0.38753814 0.50757431 0.70288890 

Porównaj to z „klasycznymi” szacunkami obliczonymi według Fleiss, Cohen i Everitt:

cohen.kappa(cbind(rater1, rater2), alpha=0.05)
##                  lower estimate upper
## unweighted kappa  0.041     0.40  0.76

Osobiście wolałbym przedział ufności Bayesa od klasycznego przedziału ufności, zwłaszcza że uważam, że przedział ufności Bayesa ma lepsze właściwości małej próbki. Powszechną troską, jaką ludzie mają zwykle przy analizach bayesowskich, jest konieczność określenia wcześniejszych przekonań dotyczących rozkładu parametrów. Na szczęście w tym przypadku łatwo jest zbudować „obiektywne” priory, po prostu umieszczając jednolite rozkłady dla wszystkich parametrów. Powinno to uczynić wynik modelu bayesowskiego bardzo podobnym do „klasycznego” obliczenia współczynnika Kappa.

Bibliografia

Sanjib Basu, Mousumi Banerjee i Ananda Sen (2000). Wnioskowanie bayesowskie dla Kappa z badań pojedynczych i wielokrotnych. Biometrics , Vol. 56, nr 2 (Jun., 2000), str. 577-582