ImageNet: co oznacza błąd w pierwszej piątce?

Jedną z metod oceny w konkursie ImageNet (klasyfikacja 1000 kategorii obrazów) jest błąd w pierwszej piątce, co to znaczy?

Zobacz: http://www.image-net.org/challenges/LSVRC/

Błąd Top-5, znany również jako błąd Rank-5, jest po prostu wystąpieniem metryki błędu Rank-N z $(N=5)$ .

Błąd rangi $N$ to ułamek próbek testowych $x_i$ którym poprawna etykieta $y_i$ nie pojawia się w górnym $N$ przewidywanych wynikach modelu, gdy wyniki są sortowane w malejącym porządku ufności lub $P(y_i|x_i)$ .

W ILSVRC 2014 metryka błędu klasyfikacji:

$$e = \tfrac{1}{n} \cdot \sum_k \min_{i} d(c_i, C_k)$$

gdzie

$$d(a, b) = \begin{cases} 0 & \text{if } a = b \\ 1 & \text{otherwise} \end{cases}$$

$c_i$ to przewidywana etykieta, a to podstawowa etykieta prawdy. Istnieje możliwych etykiet o .$C_k$$n$$k=1, ..., n$

najwyższy wskaźnik błędów (modelu) to ułamek zdjęć testowych, dla których poprawna etykieta nie znajduje się wśród pięciu etykiet uznanych za najbardziej prawdopodobne przez model [ 1 ]

Myślę, że warunkowa ocena powinna brzmieć: , jeśli występuje w najwyższym N prawdopodobnych klasyfikacjach dla danej podstawowej klasy Bk prawdy. = 1, jeśli nie.$d(A_i, B_k)$$d(Ai, Bk) = 0$$A_i$

Tutaj k przyjmuje wartości od 0 do N-1. Gdzie N jest liczbą klas. Dla każdego istnieją prawdopodobne klasyfikacje , w których i przyjmuje wartości [0, N-1]$B_k$$A_i$