Przeszkoliłem dwa modele (klasyfikatory binarne przy użyciu h2o AutoML) i chcę wybrać jeden do użycia. Mam następujące wyniki:
model_id auc logloss logloss_train logloss_valid gini_train gini_valid
DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975
DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662
auc
i logloss
kolumny są metryki cross-validation (tylko krzyż walidacja wykorzystuje dane szkolenie). ..._train
i ..._valid
metryki znajdują uruchamiając metryki poprzez szkolenia i walidacji modeli odpowiednio. Chcę użyć logloss_valid
albo, gini_valid
aby wybrać najlepszy model.
Model 1 ma lepszą gini (tj. Lepszą AUC), ale model drugi ma lepszy loglog. Moje pytanie polega na tym, który wybrać, który moim zdaniem nasuwa pytanie, jakie są zalety / wady stosowania gini (AUC) lub logloss jako miernika decyzji.
Odpowiedzi:
Podczas gdy AUC jest obliczane w odniesieniu do klasyfikacji binarnej ze zmiennym progiem decyzyjnym, logloss faktycznie bierze pod uwagę „pewność” klasyfikacji.
Dlatego, zgodnie z moim zrozumieniem, logloss pojęciowo wykracza poza AUC i jest szczególnie istotny w przypadkach z niezrównoważonymi danymi lub w przypadku nierównomiernie rozłożonego kosztu błędu (na przykład wykrycia śmiertelnej choroby).
Oprócz tej bardzo podstawowej odpowiedzi, możesz przyjrzeć się optymalizacji auc vs logloss w problemach z klasyfikacją binarną
Prosty przykład obliczenia loglossa i leżąca u jego podstaw koncepcja została omówiona w ostatnim pytaniu Funkcja Log Loss w scikit-learn zwraca różne wartości
Ponadto, bardzo dobry punkt został zrobiony w przepełnieniu stosu
źródło