Reguły punktacji służą do oceny dokładności przewidywanych prawdopodobieństw lub, bardziej ogólnie, gęstości predykcyjnych. Przykłady reguł punktacji obejmują prawdopodobieństwo logarytmiczne, Briera, sferyczne, rankingowe oraz wynik Dawida-Sebastianiego i odchylenie predykcyjne.
To jest ogólne pytanie, które zostało tutaj zadane pośrednio wiele razy, ale nie ma jednej wiarygodnej odpowiedzi. Byłoby wspaniale mieć szczegółową odpowiedź na to pytanie. Dokładność , odsetek poprawnych klasyfikacji wśród wszystkich klasyfikacji, jest bardzo prostą i bardzo „intuicyjną” miarą,...
Ostatnio dużo myślałem o „problemie nierównowagi klas” w uczeniu maszynowym / statystycznym i coraz głębiej odczuwam, że po prostu nie rozumiem, co się dzieje. Najpierw pozwól mi zdefiniować (lub spróbować) zdefiniować moje warunki: Problemem klasa nierównowaga w maszyny / uczenia...
Sprawdzam krzyżowo model, który próbuje przewidzieć liczbę. Gdyby to był problem z klasyfikacją binarną, obliczyłbym nieoczekiwane AUC, a jeśli byłby to problem regresji, obliczyłbym nieoczekiwanie RMSE lub MAE. W przypadku modelu Poissona, jakich mierników błędów mogę użyć do oceny „dokładności”...
Merkle i Steyvers (2013) piszą: Aby formalnie zdefiniować prawidłową regułę punktacji, niech będzie prognozą probabilistyczną próby Bernoulliego z prawdziwym prawdopodobieństwem powodzenia . Prawidłowe reguły punktacji to miary, których oczekiwane wartości są zminimalizowane, jeśli...
Niedawno ukończyłem zawody Kaggle, w których stosowano wynik roc auc zgodnie z wymogami zawodów. Przed tym projektem zwykle stosowałem wynik F1 jako miarę do pomiaru wydajności modelu. Idąc dalej, zastanawiam się, jak powinienem wybrać pomiędzy tymi dwoma danymi? Kiedy stosować i jakie są ich...
Większość zasobów na temat prawidłowych reguł punktowania wymienia szereg różnych zasad punktacji, takich jak utrata logów, wynik Briera lub punktacja sferyczna. Często jednak nie udzielają zbyt wielu wskazówek na temat różnic między nimi. (Dowód A: Wikipedia .) Wybór modelu, który maksymalizuje...
Po pierwsze, podaje prawdopodobieństwo wyników. Na przykład jego prognozy dotyczące wyborów w USA wynoszą obecnie 82% Clintona vs. 18% Trumpa. Teraz, nawet jeśli Trump wygra, to skąd mam wiedzieć, że nie tylko 18% czasu powinien wygrać? Innym problemem jest to, że jego prawdopodobieństwo zmienia...
Właściwa reguła punktacji jest regułą, która jest maksymalizowana przez „prawdziwy” model i nie pozwala na „zabezpieczanie” lub granie w system (celowe zgłaszanie różnych wyników, jak to jest prawdziwe przekonanie modelu o poprawie wyniku). Wynik Briera jest prawidłowy, dokładność (proporcja...
Ostatnio uczyłem się o prawidłowych regułach punktacji dla klasyfikatorów probabilistycznych. Kilka wątków na tej stronie internetowej podkreślało, że dokładność jest niewłaściwą zasadą punktacji i nie należy jej wykorzystywać do oceny jakości prognoz generowanych przez model probabilistyczny, taki...
Modeluję wydarzenie z dwoma wynikami, a i b. Stworzyłem model, który ocenia prawdopodobieństwo wystąpienia albo a lub b (tj. Model obliczy, że a nastąpi z 40% szansą, a b z 60% szansą). Mam duży zapis wyników prób z oszacowaniami z modelu. Chciałbym określić ilościowo, jak dokładny model...
Wczorajsze pytanie Określ dokładność modelu, który szacuje prawdopodobieństwo zdarzenia, zainteresowało mnie do oceny prawdopodobieństwa. Wynik Briera jest średnią kwadratową miarą błędu. Czy analogiczna średnia miara błędu bezwzględnego masz też imię?1N.∑i = 1N.( p r e di c t i O Nja- r e fe r...
Tło: Istnieje kilka świetnych pytań / odpowiedzi na temat kalibracji modeli, które przewidują prawdopodobieństwo wystąpienia wyniku. Na przykład Wynik Briera i jego rozkład na rozdzielczość, niepewność i wiarygodność . Wykresy kalibracyjne i regresja izotoniczna . Metody te często wymagają...
Programuję i wykonuję programowanie testowe. Po wprowadzeniu zmian w kodzie uruchamiam testy. Czasem im się udaje, a czasem im się nie udaje. Przed uruchomieniem testu zapisuję liczbę od 0,01 do 0,99 dla mojej wiarygodności, że test się powiedzie. Chcę wiedzieć, czy poprawiam przewidywanie, czy...
Typowym podejściem do rozwiązania problemu z klasyfikacją jest identyfikacja klasy modeli kandydujących, a następnie dokonanie wyboru modelu za pomocą procedury takiej jak walidacja krzyżowa. Zazwyczaj wybiera się model z najwyższą dokładnością lub jakąś powiązaną funkcję, która koduje informacje...
Przykłady: w opisie stanowiska mam zdanie: „Starszy inżynier Java w Wielkiej Brytanii”. Chcę użyć modelu głębokiego uczenia się, aby przewidzieć go jako 2 kategorie: English i IT jobs. Jeśli użyję tradycyjnego modelu klasyfikacji, może on przewidzieć tylko 1 etykietę z softmaxfunkcją na ostatniej...