Sparse_categorical_crossentropy vs categorical_crossentropy (keras, dokładność)

Które są lepsze dla dokładności, czy są takie same? Oczywiście, jeśli używasz categorical_crossentropy, używasz jednego gorącego kodowania, a jeśli używasz sparse_categorical_crossentropy, kodujesz jako normalne liczby całkowite. Dodatkowo, kiedy jedno jest lepsze od drugiego?

Użyj rzadkiej kategorycznej crossentropy, gdy twoje klasy wzajemnie się wykluczają (np. Gdy każda próbka należy dokładnie do jednej klasy), a kategorycznej crosssentropii, gdy jedna próbka może mieć wiele klas lub etykiet, istnieje małe prawdopodobieństwo (np. [0,5, 0,3, 0,2]).

Wzór na kategoryczną crossentropy (S - próbki, C - klasy, $s \in c$ - próbka należy do klasy c) to:

W przypadku, gdy klasy są wyłączne, nie trzeba ich sumować - dla każdej próbki jest tylko niezerowa wartość $-log p(s \in c)$ dla prawdziwej klasy c.

Pozwala to zaoszczędzić czas i pamięć. Rozważ przypadek 10000 klas, które wzajemnie się wykluczają - tylko 1 log zamiast sumowania 10000 dla każdej próbki, tylko jedna liczba całkowita zamiast 10000 liczb zmiennoprzecinkowych.

Formuła jest taka sama w obu przypadkach, więc nie powinno to mieć wpływu na dokładność.

Odpowiedź w pigułce

Jeśli twoje cele są zakodowane na gorąco, użyj categorical_crossentropy. Przykłady kodowania jednorazowego:

[1,0,0]
[0,1,0] 
[0,0,1]

Ale jeśli twoim celem są liczby całkowite, użyj sparse_categorical_crossentropy. Przykłady kodowania liczb całkowitych (dla uzupełnienia):

1
2
3