Analiza eksploracyjna błędów prognozy przestrzenno-czasowej

13

Dane: Niedawno pracowałem nad analizą stochastycznych właściwości przestrzenno-czasowego pola błędów prognozowania produkcji energii wiatrowej. Formalnie można powiedzieć, że jest to proces indeksowane dwukrotnie w czasie (przyi), a raz w miejscu (), zoznacza liczbę razy LookAhead (czyli co okołoregularnie próbki),oznacza liczbę „czasy prognozy” (tj. czasy, w których prognoza jest wydawana, około 30000 w moim przypadku, próbkowanie regularnie), ato liczba pozycji przestrzennych (nie siatkowane, około 300 w moim przypadku). Ponieważ jest to proces związany z pogodą, mam również wiele prognoz pogody, analiz, pomiarów meteorologicznych, które można wykorzystać.

{(ϵ_{t + h | t}^{p})}_{t = 1 \dots, T; h = 1, \dots, H, p = p_{1}, \dots, p_{n}}

$\left (\epsilon^p_{t+h|t} \right )_{t=1\dots,T;\; h=1,\dots,H,\;p=p_1,\dots,p_n}$

t

$t$

h

$h$

p

$p$

H

$H$

24

$24$

T

$T$

n

$n$

Pytanie: Czy możesz opisać mi analizę eksploracyjną, którą przeprowadziłbyś na tego typu danych, aby zrozumieć naturę struktury współzależności (która może nie być liniowa) procesu, aby zaproponować dokładne modelowanie tego.

forecasting data-mining stochastic-processes spatial spatio-temporal Robin Girard
źródło

to bardzo interesujące pytanie. Czy można grać przynajmniej z podzbiorem anonimowych danych? I w jaki sposób wygenerowano prognozy, jaki model zastosowano?

mpiktas

1

@mpiktas dzięki, możesz podejrzewać, że został wygenerowany z odpowiednim modelowaniem AR (po jednym dla każdej farmy wiatrowej), to nie zmieni bardzo problemu. Niestety, z tymi danymi

wiąże

6

Wydaje mi się, że dysponujesz wystarczającymi danymi, aby modelować zależność od wpływów czasoprzestrzennych i meteorologicznych zarówno stronniczości błędów prognozowych (tj. Tendencji do systematycznego przeszacowywania / niedoceniania [pierwszej chwili]), jak i ich wariancji [drugiej chwili].

Aby zbadać błąd, po prostu zrobiłbym dużo wykresów rozrzutu, map cieplnych lub wykresów heksbinowych. Aby zbadać zmienność, po prostu wyprostuję oryginalne błędy, a następnie ponownie wykonam wiele wykresów rozrzutu, map cieplnych lub wykresów heksbinowych. Nie jest to oczywiście bezproblemowe, jeśli masz dużo stronniczości, ale nadal może pomóc dostrzec wzorce heteroskedastyczności wpływającej na zmienną towarzyszącą.

Rmboost $t$ $h$ , splajny iloczynu tensora dla efektów przestrzenno-czasowych lub płynnych oddziaływań efektów meteorologicznych itp.) dla różnych momentów i jednocześnie dokonuj wyboru terminów w celu uzyskania oszczędnego i możliwego do interpretacji modelu. Można mieć nadzieję, że warunki w tym modelu wystarczą do uwzględnienia przestrzenno-czasowej struktury autokorelacji błędów prognozy, ale prawdopodobnie powinieneś sprawdzić resztki tych modeli pod kątem autokorelacji (tj. Spojrzeć na niektóre wariogramy i ACF).

fabianie
źródło

+1 Dzięki, Fabianie, masz całkowitą rację, problem nie polega na tym, że nie mam wystarczającej ilości danych. Zauważ, że moje pytanie dotyczy w szczególności struktury współzależności. Wykresy rozrzutu, mapy cieplne i wykres szesnastkowy są dobrymi narzędziami, jeśli są używane w dobrym celu. Wydaje mi się, że ogólny model addytywny może być również bardzo wydajny. Istnieje wspaniały artykuł Brillingera zapewniający dobre wskazówki na temat korzystania z GAM.

robin girard

5

My (kolega i ja) w końcu napisaliśmy artykuł na ten temat. Podsumowując, zaproponowaliśmy dwa rozwiązania w celu kwantyfikacji i przedstawienia statystycznego podsumowania (przestrzenno-czasowego) rozprzestrzeniania się błędów w Danii i wraz z przyszłymi okresami.

W pierwszym obliczamy korelację między wszystkimi parami farm wiatrowych i dla wszystkich par czasów oczekiwania (jest to funkcja 4 zmiennych). Kiedy para jest ustalona, pokazaliśmy, że funkcja korelacji ma lokalne maksima wraz z czasami wyprzedzenia, powiedzieliśmy, że to propagacja! Skala czasowa związana z daną parą farm wiatrowych jest podawana przez czasowe opóźnienie, dla którego uzyskuje się to lokalne maksimum. Rysowanie, dla wszystkich par farmy wiatrowej, lokalnych maksimów korelacji, czasowego opóźnienia, które pozwala to uzyskać, oraz wektora przestrzennego, który łączy farmy wiatrowe, daje prawą stronę rysunku 1.

Rycina 1

Można to wykorzystać do obliczenia globalnego wektora propagacji, tj. Pewnego rodzaju przestrzennej średniej prędkości propagacji między parami. Część tego pokazano po lewej stronie ryc. 1 i zgadnij, jaką propagacją błędów jest West East w Denamrk (ok, to nie była wielka niespodzianka :)). Przeanalizowaliśmy to również warunkowo w różnych sytuacjach meteorologicznych, aby pokazać związek między propagacją a wiatrem (prędkość, kierunek).

$t$ $t$ $R^2$

Rysunek 2

W drugim przypadku zaobserwowaliśmy, że średnia czasowa prędkość propagacji ma podobny magnitet, jak uzyskany ze średnią przestrzenną w pierwszym przypadku. Jeśli chcesz poważniej przyjrzeć się tej pracy, papier jest tutaj .

Robin Girard
źródło

+1 dzięki za udostępnienie. (Przepraszam, że przegapiłem pytanie, kiedy się pojawiło.) Czy zastanawiałeś się nad wykreśleniem wariogramów krzyżowych według czasu oczekiwania? Najbardziej skuteczne nie byłyby tradycyjne wygładzone kierunkowe chmury wariogramu; zamiast tego użyj dwuwymiarowych wykresów gęstości chmur wariogramu. Następnie możesz konstruować ich wariogramy , aby badać relacje czasowe. Wyniki propagacji powinny automatycznie wyskoczyć z takiej analizy.

whuber

@whuber Dzięki za komentarz, nie sądzę, że przegapiłeś więcej niż 2 lub 3 pytania na tej stronie :). Twój pomysł z wariogramem wydaje się związany (nie bardzo przyzwyczajam się do używania wariogramu, często uważam, że wszystko, co można sformułować za pomocą wariogramu, ma praktyczny odpowiednik z kowariancjami ...), pomyślę o tym.

Robin Girard

Masz rację, że w wielu aplikacjach kowariancje są równoważne wariogramom. Jednak chmura wariogramu stanowi zarówno wizualne, jak i koncepcyjne uzupełnienie, które nie wydaje się działać wyłącznie z funkcjami kowariancji - przypomina trochę patrzenie na wykresy rozrzutu zamiast tylko na macierze korelacji: czasami można zobaczyć wzorce, których liczby nie pokazują wyraźnie .

whuber

Analiza eksploracyjna błędów prognozy przestrzenno-czasowej

Odpowiedzi: