Czy mój meteorolog jest dokładny?

20

Pytanie, które martwiło mnie przez jakiś czas, na które nie wiem jak odpowiedzieć:

Każdego dnia mój meteorolog daje procentową szansę na deszcz (załóżmy, że obliczono go na 9000 cyfr i nigdy nie powtórzył żadnej liczby). Każdego dnia pada albo nie pada.

Mam lata danych - procent szans względem deszczu czy nie. Biorąc pod uwagę historię tego meteorologa , jeśli powie dzisiejszej nocy, że jutrzejszą szansą na deszcz jest X, to jak najlepiej zgadnąć, jaka jest naprawdę szansa na deszcz?

Paul Murray
źródło
Jest to związane z przeszłym pytaniem: stats.stackexchange.com/q/2275/495
Simon Byrne
Coś, co należy wziąć pod uwagę: w książce Nate Silver o prognozach Sygnał i hałas: dlaczego tak wiele prognoz zawodzi - ale niektórzy nie, mówi obszernie o tym, jak meteorologowie rutynowo dostosowują swoje prognozy opadów ze względów marketingowych. NOAA tego nie robi, ale Weather Channel jest dość otwarty, aby zrewidować każdą szansę od 5 do 20 do 20 (aby nie gniewać klientów, jeśli rzeczywiście pada deszcz), podczas gdy meteorologowie z lokalnych stacji telewizyjnych rutynowo podchodzą do swoich liczb o wiele bardziej bezczelnie. Ta świadoma i być może nieetyczna stronniczość wpłynie na każdą statystyczną ocenę jakości ich prognoz.
SQLServerSteve

Odpowiedzi:

6

W efekcie myślisz o modelu, w którym prawdziwa szansa na deszcz, p , jest funkcją przewidywanej szansy q : p = p (q ). Za każdym razem, gdy dokonywana jest prognoza, obserwujemy jedną realizację wariantu Bernoulliego mającego prawdopodobieństwo p (q) sukcesu. Jest to klasyczny układ regresji logistycznej, jeśli chcesz modelować prawdziwą szansę jako liniową kombinację funkcji podstawowych f1 , f2 , ..., fk ; to znaczy, mówi model

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

z błędami iid e . Jeśli nie masz pewności co do formy relacji (chociaż jeśli meteorolog ma jakieś dobre p (q) - q powinno być dość małe), rozważ użycie zestawu splajnów jako podstawy. Wynik jak zwykle składa się z oszacowań współczynników i oszacowania wariancji e . Biorąc pod uwagę każdą przyszłą prognozę q , po prostu podłącz wartość do modelu z oszacowanymi współczynnikami, aby uzyskać odpowiedź na swoje pytanie (i użyj wariancji e, aby skonstruować przedział predykcji wokół tej odpowiedzi, jeśli chcesz).

Ramy te są wystarczająco elastyczne, aby uwzględnić inne czynniki, takie jak możliwość zmian jakości prognoz w czasie. Pozwala także przetestować hipotezy, takie jak czy p = q (co domniemanie twierdzi meteorolog).

Whuber
źródło
Hmm - moje pytanie nie jest dobrze zdefiniowane. Jedyną rzeczą, jaką mogę zrobić, to wybrać jakiś model q (), który umożliwia ustawienie parametrów i maksymalizacji dobroci dopasowania przez błahy z tych parametrów. To znaczy - bez względu na to, co zrobię, będę musiał przyjąć pewne założenia dotyczące tego, jak właściwie wygląda q ().
Paul Murray
11

Porównanie prognozy prawdopodobieństwa dla zdarzenia binarnego (lub dyskretnej zmiennej losowej) można wykonać na podstawie wyniku Briera

ττ

Powinieneś spojrzeć na to, w jaki sposób Europejskie Centrum Prognozy Średniego Zasięgu ( robi to ECMWF ).

Robin Girard
źródło
3

Kiedy prognoza mówi „X procent szans na deszcz w (obszarze)”, oznacza to, że numeryczny model pogody wskazał deszcz na X procentach powierzchni dla danego przedziału czasowego. Na przykład normalnie byłoby dokładne przewidzieć „100-procentową szansę na deszcz w Ameryce Północnej”. Należy pamiętać, że modele są dobre w przewidywaniu dynamiki i słabe w przewidywaniu termodynamiki.

wilgotny
źródło
1
Stary temat, ale kluczowy punkt do wyjaśnienia w PO: kiedy mówią, że mają „deszcz czy nie” dane, z którymi można porównać prognozę, czy mają na myśli „w moim domu”, czy też „w ramach prognozy” powierzchnia"?
Wayne
2

Podejście Brier Score jest bardzo proste i najbardziej bezpośrednio stosowany sposób zweryfikowania dokładności przewidywanego wyniku w stosunku do zdarzenia binarnego.

Nie polegaj tylko na formułach ... wykreśl wyniki dla różnych okresów, danych, błędów, [ważonej] średniej kroczącej danych, błędów ... trudno powiedzieć, co może pokazać analiza wizualna ... po tym, jak pomyślisz jeśli coś zobaczysz, będziesz lepiej wiedzieć, jaki test hipotezy wykonać, dopóki nie spojrzysz na dane.

Wynik Briera z natury zakłada stabilność zmienności / leżących u podstaw rozkładów pogodowych i technologicznych napędzających modele prognostyczne, brak liniowości, brak odchylenia, brak zmiany odchylenia ... zakłada, że ​​ten sam ogólny poziom dokładności / niedokładności jest spójny. W miarę zmian klimatu w sposób, który nie jest jeszcze zrozumiany, dokładność prognoz pogody zmniejszyłaby się; i odwrotnie, naukowcy przekazujący informacje meteorologowi mają więcej zasobów, pełniejsze modele, więcej mocy obliczeniowej, więc być może dokładność prognoz wzrośnie. Patrzenie na błędy powiedziałoby coś o stabilności, liniowości i nastawieniu prognoz ... możesz nie mieć wystarczającej ilości danych, aby zobaczyć trendy; możesz się dowiedzieć, że stabilność, liniowość i stronniczość nie stanowią problemu. Możesz dowiedzieć się, że prognozy pogody stają się dokładniejsze ... czy nie.

markbruns
źródło
0

A co powiesz na binowanie podanych prognoz i przyjmowanie zaobserwowanych frakcji jako wartości szacunkowej dla każdego bin?

Możesz uogólnić to na model ciągły, ważąc wszystkie obserwacje wokół twojej wartości zainteresowania (powiedz prognozy do jutra) przez Gaussa i sprawdzając, jaka jest średnia ważona.

Możesz odgadnąć szerokość, aby uzyskać określony ułamek swoich danych (lub, powiedzmy, nigdy nie mniej niż 100 punktów dla dobrego oszacowania). Alternatywnie użyj metody, takiej jak krzyżowa walidacja maksymalnego prawdopodobieństwa, aby uzyskać szerokość Gaussa.

luispedro
źródło
0

Czy chcesz wiedzieć, czy jego prognoza jest dokładniejsza niż inna prognoza? Jeśli tak, możesz spojrzeć na podstawowe miary dokładności dla klasyfikacji probabilistycznej, takie jak entropia krzyżowa, precyzja / przywołanie, krzywe ROC i wynik f1.

Sprawdzenie, czy prognoza jest obiektywnie dobra, to inna sprawa. Jedną z opcji jest sprawdzenie kalibracji. Ze wszystkich dni, w których powiedział, że będzie 90% szans na deszcz, czy około 90% z tych dni miało deszcz? Weź wszystkie dni, w których ma prognozę, a następnie połącz je według jego oszacowania prawdopodobieństwa deszczu. Dla każdego wiadra oblicz procent dni, w których faktycznie wystąpił deszcz. Następnie dla każdego wiadra wykreśl rzeczywiste prawdopodobieństwo deszczu w stosunku do jego szacunków dotyczących prawdopodobieństwa deszczu. Wykres będzie wyglądał jak linia prosta, jeśli prognoza jest dobrze skalibrowana.

Alex Lamb
źródło