Wybór spośród właściwych zasad punktacji

Większość zasobów na temat prawidłowych reguł punktowania wymienia szereg różnych zasad punktacji, takich jak utrata logów, wynik Briera lub punktacja sferyczna. Często jednak nie udzielają zbyt wielu wskazówek na temat różnic między nimi. (Dowód A: Wikipedia .)

Wybór modelu, który maksymalizuje wynik logarytmiczny, odpowiada wybraniu modelu największej wiarygodności, co wydaje się dobrym argumentem za zastosowaniem oceny logarytmicznej. Czy istnieją podobne uzasadnienia dla punktacji Brier lub sferycznej lub innych zasad punktacji? Dlaczego ktoś miałby używać jednego z nich zamiast logarytmicznej oceny?

machine-learning classification model-selection theory scoring-rules Ben Kuhn
źródło

Niektóre wskazówki znajdują się w nomenklaturze. „Funkcjonalność kosztowa” pochodzi z optymalizacji lub inżynierii optymalnego systemu sterowania. Nie ma „najlepszego”. Aby mieć „dobro”, musisz mieć miarę dobroci. Istnieje nieskończona liczba rodzin miar dobroci. Trywialny przykład brzmi: jaka jest najlepsza ścieżka? Jeśli maszerujesz do swojej egzekucji - spraw, by była to bardzo przyjemna. Jeśli idziesz do metalu Fields, skróć go. Specjalizacja systemowa pomaga wybrać miarę dobroci. Kiedy masz miarę dobroci, możesz znaleźć „najlepsze”.

EngrStudent - Przywróć Monikę

Możesz być zainteresowany Merkle & Steyvers, „Wybieranie ściśle właściwej reguły punktacji” (2013, Analiza decyzji ) .

S. Kolassa - Przywróć Monikę

Pozwoliłem sobie edytować tytuł, aby był bardziej precyzyjny / informacyjny. Jeśli źle go zinterpretowałem, przepraszamy i przywracam zmiany.

Richard Hardy,

Odpowiedzi:

Dlaczego ktoś miałby używać jednego z nich zamiast logarytmicznej oceny?

Idealnie więc zawsze odróżniamy dopasowanie modelu od podjęcia decyzji . W metodologii bayesowskiej ocena i wybór modelu powinna zawsze odbywać się z marginalnym prawdopodobieństwem . Następnie używasz modelu do prognozowania probabilistycznego, a funkcja straty mówi ci, jak postępować zgodnie z tymi prognozami.

Niestety w prawdziwym świecie wydajność obliczeniowa często dyktuje, że łączymy wybór modelu i proces decyzyjny, dlatego używamy funkcji straty, aby dopasować nasze modele. Tutaj wkrada się subiektywność przy wyborze modelu, ponieważ musisz zgadnąć, ile kosztują różne rodzaje błędów. Klasycznym przykładem jest diagnostyka raka: przecenianie czyjegoś prawdopodobieństwa raka nie jest dobre, ale niedocenianie go jest znacznie gorsze.

Nawiasem mówiąc, jeśli szukasz wskazówek, jak wybrać regułę punktacji, możesz także poszukać wskazówek dotyczących wyboru funkcji straty lub zaprojektowania funkcji użytecznej, ponieważ uważam, że literatura na te dwa tematy to dużo bardziej obszerny.

Andy Jones
źródło

1) Czy mówisz, że punktacja Briera jest w zasadzie „ukrytą funkcją utraty” - to znaczy, mimo że maskaruje się jako reguła oceniania / porównywania niezależna od funkcji użyteczności, jest faktycznie używana, ponieważ ludzie mają określone preferencje względem rodzajów błędy popełniane przez model?

Ben Kuhn

2) Czy masz jakieś konkretne przykłady ustawień, w których ktoś może wybrać Brier lub punktację sferyczną nad punktacją dziennika (= marginalne prawdopodobieństwo, jak rozumiem) z tych powodów?

Ben Kuhn

3) Dlaczego lepiej byłoby wprowadzić w modelu założenia funkcji utraty / użyteczności niż dopasować do marginalnego prawdopodobieństwa i użyć funkcji utraty / użyteczności przy podejmowaniu decyzji? Wydaje się, że dla idealnych algorytmów uczenia się nie powinno być między nimi przerwy.

Ben Kuhn

1) Tak. 2) Nie osobiście, nie. Zasady punktacji nie są „modne” w części ML, w której pracuję. Po szybkim przejrzeniu Scholar , wydaje się, że są trochę przestarzałe. Ten artykuł wygląda jednak na interesujący. 3) Przez wydajność rozumiałem „wydajność obliczeniową”, a nie „wydajność predykcyjną”.

Andy Jones,