Jak określić jakość klasyfikatora wieloklasowego

Dany

• zestaw danych z instancjami $x_i$ razem z $N$ klasami, w których każda instancja $x_i$ należy dokładnie do jednej klasy$y_i$
• klasyfikator wieloklasowy

Po treningu i testowaniu w zasadzie mam tabelę z prawdziwą klasą i przewidywaną klasą dla każdej instancji w zestawie testowym. Tak więc za każdym razem mam dopasowanie ( ) lub miss ( y_i \ neq a_i ).$y_i$$a_i$$x_i$$y_i= a_i$$y_i\neq a_i$

Jak mogę ocenić jakość dopasowania? Problem polega na tym, że niektóre klasy mogą mieć wielu członków, tzn. Należy do nich wiele instancji. Oczywiście, jeśli 50% wszystkich punktów danych należy do jednej klasy, a mój ostateczny klasyfikator jest ogólnie w 50% poprawny, nic nie zyskałem. Równie dobrze mógłbym stworzyć trywialny klasyfikator, który generuje największą klasę bez względu na wejście.

Czy istnieje standardowa metoda oceny jakości klasyfikatora na podstawie znanego zestawu wyników testów dopasowań i trafień dla każdej klasy? Może nawet ważne jest rozróżnienie wskaźników dopasowania dla poszczególnych klas?

Najprostsze podejście, jakie mogę wymyślić, to wykluczenie prawidłowych dopasowań największej klasy. Co jeszcze?

Podobnie jak w przypadku klasyfikacji binarnej, można użyć empirycznego poziomu błędu do oszacowania jakości klasyfikatora. Niech być klasyfikatorów oraz x I i y i być odpowiednio przykład w bazie danych i klasy. e r r ( g ) = $g$$x_i$$y_i$ Jak powiedzieliście, gdy klasy są niezrównoważone, linia bazowa nie wynosi 50%, ale odsetek większej klasy. Możesz dodać wagę do każdej klasy, aby zrównoważyć błąd. NiechWYjest ciężar klasyy. Ustaw ciężary tak, aby

$$err(g) = \frac{1}{n} \sum_{i \leq n} \mathbb{1}_{g(x_i) \neq y_i}$$ $W_y$$y$i zdefiniujważony błąd empirycznyerrW(g)=$\frac{1}{W_y} \sim \frac{1}{n}\sum_{i \leq n} \mathbb{1}_{y_i = y}$ $$err_W(g) = \frac{1}{n} \sum_{i \leq n} W_{y_i} \mathbb{1}_{g(x_i) \neq y_i}$$

Jak powiedział Steffen, macierz nieporozumień może być dobrym sposobem na oszacowanie jakości klasyfikatora. W przypadku binarnym można uzyskać pewną miarę z tej macierzy, na przykład czułość i swoistość, szacując zdolność klasyfikatora do wykrywania konkretnej klasy. Źródłem błędu klasyfikatora może być szczególny sposób. Na przykład klasyfikator może być zbyt pewny siebie podczas przewidywania 1, ale nigdy nie powiedzieć źle, przewidując zero. Wiele klasyfikatorów można sparametryzować w celu kontroli tego współczynnika (fałszywie dodatnie vs fałszywie ujemne), a następnie jesteś zainteresowany jakością cała rodzina klasyfikatorów, nie tylko jedna. Na tej podstawie możesz wykreślić krzywą ROC , a pomiar obszaru pod krzywą ROC daje jakość tych klasyfikatorów.

Krzywe ROC można rozszerzyć dla problemu wieloklasowego. Sugeruję przeczytanie odpowiedzi w tym wątku .

Do oceny wielostronnych systemów klasyfikacji tekstu używam mikro- i makro-uśrednionego F1 (miara F). Miara F jest zasadniczo ważoną kombinacją precyzji i przypomnijmy to sobie. W przypadku klasyfikacji binarnej podejścia mikro i makro są takie same, ale w przypadku wielu sposobów myślę, że mogą ci pomóc. Możesz myśleć o Micro F1 jako ważonej kombinacji precyzji i przywołania, która daje taką samą wagę każdemu dokumentowi, podczas gdy Macro F1 daje taką samą wagę każdej klasie. Dla każdego równanie miary F jest takie samo, ale obliczasz precyzję i przywołujesz inaczej:

$$F = \frac{(\beta^{2} + 1)PR}{\beta^{2}P+R},$$

$\beta$

$$P_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FP_{i}}, R_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FN_{i}}$$

$$P_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FP_{i}}, R_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FN_{i}}$$

$TP$$FP$$FN$$C$

# Function in R, using precision, recall and F statistics

check.model.accuracy <- function(predicted.class, actual.class){

  result.tbl <- as.data.frame(table(predicted.class,actual.class ) ) 

  result.tbl$Var1 <- as.character(result.tbl$predicted.class)
  result.tbl$Var2 <- as.character(result.tbl$actual.class)

  colnames(result.tbl)[1:2] <- c("Pred","Act")

  cntr <- 0  
  for (pred.class in unique(result.tbl$Pred) ){
    cntr <- cntr+ 1
    tp <- sum(result.tbl[result.tbl$Pred==pred.class & result.tbl$Act==pred.class, "Freq"])
    tp.fp <- sum(result.tbl[result.tbl$Pred == pred.class , "Freq" ])
    tp.fn <- sum(result.tbl[result.tbl$Act == pred.class , "Freq" ])
    presi <- tp/tp.fp 
    rec <- tp/tp.fn
    F.score <- 2*presi*rec/(presi+rec)
    if (cntr == 1 ) F.score.row <- cbind(pred.class, presi,rec,F.score)
    if (cntr > 1 ) F.score.row <- rbind(F.score.row,cbind(pred.class,presi,rec,F.score))
  }

  F.score.row <- as.data.frame(F.score.row) 
  return(F.score.row)
}

check.model.accuracy(predicted.df,actual.df) 
# For multiclass, average across all classes