Kiedy właściwe jest stosowanie niewłaściwej reguły punktacji?

Merkle i Steyvers (2013) piszą:

Aby formalnie zdefiniować prawidłową regułę punktacji, niech będzie prognozą probabilistyczną próby Bernoulliego z prawdziwym prawdopodobieństwem powodzenia . Prawidłowe reguły punktacji to miary, których oczekiwane wartości są zminimalizowane, jeśli .$f$$d$$p$$f = p$

Rozumiem, że jest to dobre, ponieważ chcemy zachęcić prognostów do generowania prognoz, które uczciwie odzwierciedlają ich prawdziwe przekonania i nie chcemy dać im przewrotnych bodźców, by robili inaczej.

Czy istnieją jakieś rzeczywiste przykłady, w których właściwe jest stosowanie niewłaściwej reguły punktacji?

Reference
Merkle, EC i Steyvers, M. (2013). Wybór ściśle właściwej reguły punktacji. Analiza decyzji, 10 (4), 292–304

Właściwe jest stosowanie niewłaściwej reguły punktacji, gdy celem jest rzeczywiście prognozowanie, ale nie wnioskowanie. Nie obchodzi mnie to, czy inny prognostyk oszukuje, czy nie, kiedy to ja będę robił prognozy.

Właściwe reguły oceniania zapewniają, że podczas procesu szacowania model zbliża się do procesu generowania prawdziwych danych (MZD). Brzmi obiecująco, ponieważ zbliżając się do prawdziwego MZD, będziemy również dobrze postępować w zakresie prognozowania w ramach dowolnej funkcji strat. Chodzi o to, że przez większość czasu (w rzeczywistości prawie zawsze) nasza przestrzeń wyszukiwania modelu nie zawiera prawdziwego MZD. W efekcie zbliżamy się do prawdziwego MZD za pomocą proponowanej przez nas funkcjonalnej formy.

W tym bardziej realistycznym otoczeniu, jeśli nasze zadanie prognozowania jest łatwiejsze niż ustalenie całej gęstości prawdziwego MZD, możemy faktycznie zrobić to lepiej. Dotyczy to szczególnie klasyfikacji. Na przykład prawdziwy MZD może być bardzo złożony, ale zadanie klasyfikacji może być bardzo łatwe.

Jarosław Bułatow podał na swoim blogu następujący przykład:

http://yaroslavvb.blogspot.ro/2007/06/log-loss-or-hinge-loss.html

Jak widać poniżej, prawdziwa gęstość jest niepewna, ale bardzo łatwo jest zbudować klasyfikator, aby oddzielić generowane przez to dane na dwie klasy. Po prostu, jeśli klasa wyjściowa 1, a jeśli klasa wyjściowa 2.$x \ge 0$$x < 0$

Zamiast dopasować dokładną gęstość powyżej, proponujemy poniższy surowy model, który jest dość daleki od prawdziwego MZD. Jednak robi to doskonałą klasyfikację. Stwierdzono to, stosując utratę zawiasów, co nie jest właściwe.

Z drugiej strony, jeśli zdecydujesz się znaleźć prawdziwą MZD z utratą logów (co jest właściwe), zaczniesz dopasowywać niektóre funkcje, ponieważ nie wiesz, jakiej dokładnie formy funkcjonalnej potrzebujesz a priori. Ale kiedy starasz się coraz mocniej dopasować, zaczynasz błędnie klasyfikować rzeczy.

Pamiętaj, że w obu przypadkach zastosowaliśmy te same formy funkcjonalne. W przypadku niewłaściwej straty przekształcił się w funkcję krokową, która z kolei dokonała doskonałej klasyfikacji. We właściwym przypadku oszalało, próbując zaspokoić każdy region gęstości.

Zasadniczo nie zawsze musimy osiągnąć prawdziwy model, aby mieć dokładne prognozy. A czasem tak naprawdę nie musimy robić dobrze w całej dziedzinie gęstości, ale być bardzo dobrzy tylko w niektórych jej częściach.

Dokładność (tzn. Procent poprawnie sklasyfikowany) jest niewłaściwą zasadą punktacji, więc w pewnym sensie ludzie robią to cały czas.

Mówiąc bardziej ogólnie, każda reguła punktacji, która zmusza prognozy do z góry określonej kategorii, będzie niewłaściwa. Klasyfikacja jest tego skrajnym przypadkiem (jedyne dozwolone prognozy to 0% i 100%), ale prognoza pogody jest prawdopodobnie również nieco niepoprawna - moje lokalne stacje wydają się zgłaszać szansę na deszcz w odstępach 10 lub 20%, chociaż ja Założę się, że podstawowy model jest znacznie bardziej precyzyjny.

Właściwe reguły punktacji zakładają również, że prognostyk jest neutralny dla ryzyka. Często nie dzieje się tak w przypadku rzeczywistych ludzkich prognostów, którzy zazwyczaj nie są narażeni na ryzyko, a niektóre aplikacje mogą skorzystać z reguły punktacji, która odtwarza tę tendencję. Na przykład możesz nieco zwiększyć ciężar P (deszcz), ponieważ noszenie parasola, ale nie potrzebowanie go jest o wiele lepsze niż złapanie ulewy.