Tło: Istnieje kilka świetnych pytań / odpowiedzi na temat kalibracji modeli, które przewidują prawdopodobieństwo wystąpienia wyniku. Na przykład
- Wynik Briera i jego rozkład na rozdzielczość, niepewność i wiarygodność .
- Wykresy kalibracyjne i regresja izotoniczna .
Metody te często wymagają zastosowania metody binowania na przewidywanych prawdopodobieństwach, dzięki czemu zachowanie wyniku (0, 1) jest wygładzane nad bin przez przyjęcie średniego wyniku.
Problem: Nie mogę jednak znaleźć niczego, co instruuje mnie, jak wybrać szerokość pojemnika.
Pytanie: Jak wybrać optymalną szerokość pojemnika?
Próba: Wydaje się, że dwie popularne szerokości pojemników to:
- Podział na grupy o równej szerokości, np. 10 przedziałów, z których każdy obejmuje 10% przedziału [0, 1].
- Omówiona tutaj metoda binningu Tukeya .
Ale czy te wybory pojemników są najbardziej optymalne, jeśli ktoś chciałby znaleźć przedziały w przewidywanych prawdopodobieństwach, które są najbardziej źle skalibrowane?
Odpowiedzi:
Każda metoda statystyczna wykorzystująca binowanie została ostatecznie uznana za przestarzałą. Ciągłe szacowanie krzywej kalibracyjnej jest powszechne od połowy lat 90. Powszechnie stosowane metody to less (z wyłączonym wykrywaniem wartości odstających), liniowa kalibracja logistyczna i kalibracja logiczna splajnu. Zagłębiam się w to szczegółowo w mojej książce Strategie modelowania regresji i notatkach kursowych. Zobacz http://www.fharrell.com/p/blog-page.html .
rmsPakiet R ułatwia uzyskanie gładkich krzywych kalibracji nieparametrycznej za pomocą niezależnej próbki zewnętrznej lub za pomocą paska startowego na oryginalnej próbce rozwoju modelu.źródło
Z mojego doświadczenia wynika, że binowanie jest dobre do wizualizacji rozkładów prawdopodobieństwa, ale zazwyczaj jest to zły pomysł, jeśli ktoś chce użyć go do testów statystycznych i / lub wnioskowania parametrów. Przede wszystkim dlatego, że natychmiast ogranicza się precyzję przez szerokość pojemnika. Innym częstym problemem jest brak powiązania zmiennej, tzn. Należy wprowadzić niskie i wysokie wartości odcięcia.
Praca z rozkładami skumulowanymi w duchu Kołmogorowa-Smirnowa pozwala obejść wiele z tych problemów. W tym przypadku dostępnych jest również wiele dobrych metod statystycznych. (patrz np. https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )
źródło