Jak scharakteryzować nagłą zmianę?

To pytanie może być zbyt proste. Jeśli chodzi o tymczasowy trend danych, chciałbym dowiedzieć się, w którym momencie następuje „nagła” zmiana. Na przykład na pierwszym rysunku pokazanym poniżej chciałbym znaleźć punkt zmiany za pomocą metody statystycznej. I chciałbym zastosować taką metodę w niektórych innych danych, których punkt zmiany nie jest oczywisty (jak na 2. rysunku). Czy istnieje zatem wspólna metoda do tego celu?

Jeśli obserwacje danych szeregów czasowych są skorelowane z wcześniejszymi obserwacjami, artykuł Chen i Liu (1993) może cię zainteresować. Opisuje metodę wykrywania przesunięć poziomów i tymczasowych zmian w ramach modeli szeregów czasowych autoregresyjnej średniej ruchomej.$^{[1]}$

[1]: Chen, C. i Liu, LM. (1993),
„Joint Estimation of Model Parameters and Outlier Effects in Time Series”,
Journal of the American Statistics Association , 88 : 421, 284-297

Ten problem w statystykach jest określany jako (jednoczynnikowy) wykrywanie zdarzeń czasowych. Najprostszym pomysłem jest zastosowanie średniej ruchomej i odchylenia standardowego. Każdy odczyt, który jest „poza” 3 odchyleniami standardowymi (zasada praktyczna) jest uważany za „zdarzenie”. Istnieją oczywiście bardziej zaawansowane modele wykorzystujące HMM lub regresję. Oto wstępny przegląd tego pola .

$J_1$$J_2$$x_1$$x_2$

Istnieje pokrewny problem dzielenia serii lub sekwencji na czary o idealnie stałych wartościach. Zobacz Jak mogę grupować dane liczbowe w naturalnie tworzące się „nawiasy”? (np. dochód)

Nie jest to ten sam problem, ponieważ pytanie nie wyklucza czarów z powolnym dryfowaniem w dowolnym kierunku lub we wszystkich kierunkach, ale bez gwałtownych zmian.

Bardziej bezpośrednią odpowiedzią jest stwierdzenie, że szukamy dużych skoków, więc jedynym prawdziwym problemem jest zdefiniowanie skoku. Pierwszym pomysłem jest więc spojrzenie na pierwsze różnice między sąsiednimi wartościami. Nie jest nawet jasne, że musisz to udoskonalić, usuwając najpierw hałas, ponieważ jeśli skoki nie można odróżnić od różnic w hałasie, z pewnością nie mogą być gwałtowne. Z drugiej strony pytający najwyraźniej chce, aby nagła zmiana obejmowała zarówno zmianę narastającą, jak i stopniową, więc wydaje się, że potrzebne jest pewne kryterium, takie jak wariancja lub zakres w oknach o stałej długości.

Obszarem statystyk, którego szukasz, jest analiza zmian. Jest tu strona internetowa , która daje przegląd obszaru, a także stronę z oprogramowaniem.

Jeśli jesteś Rużytkownikiem, polecam changepointpakiet zmian średnich i strucchangepakiet zmian regresji. Jeśli chcesz być Bayesianem, bcppakiet też jest dobry.

Ogólnie rzecz biorąc, musisz wybrać próg wskazujący siłę zmian, których szukasz. Istnieją oczywiście wybory progowe, które ludzie popierają w pewnych sytuacjach, a także można użyć asymptotycznych poziomów zaufania lub ładowania początkowego, aby uzyskać pewność siebie.

Ten problem wnioskowania ma wiele nazw, w tym punkty zmiany, punkty przełączania, punkty przerwania, regresja linii przerywanej, regresja łamanego pręta, regresja dwuliniowa, regresja liniowa fragmentaryczna, lokalna regresja liniowa, regresja segmentowa i modele nieciągłości.

Oto przegląd pakietów punktów zmiany z zaletami / wadami i sprawdzonymi przykładami. Jeśli znasz liczbę punktów wymiany a priori, sprawdź mcppakiet. Najpierw symulujmy dane:

df = data.frame(x = seq(1, 12, by = 0.1))
df$y = c(rnorm(21, 0, 5), rnorm(80, 180, 5), rnorm(10, 20, 5))

Pierwszym problemem są trzy segmenty tylko przechwytujące:

model = list(
  y ~ 1,  # Intercept
  ~ 1,  # etc...
  ~ 1
)
library(mcp)
fit = mcp(model, df, par_x = "x")

Możemy wykreślić wynikowe dopasowanie:

plot(fit)

Tutaj punkty zmiany są bardzo dobrze zdefiniowane (wąskie). Podsumujmy dopasowanie, aby zobaczyć ich wywnioskowane lokalizacje ( cp_1i cp_2):

summary(fit)

Family: gaussian(link = 'identity')
Iterations: 9000 from 3 chains.
Segments:
  1: y ~ 1
  2: y ~ 1 ~ 1
  3: y ~ 1 ~ 1

Population-level parameters:
    name   mean lower upper Rhat n.eff
    cp_1   3.05   3.0   3.1    1  6445
    cp_2  11.05  11.0  11.1    1  6401
   int_1   0.14  -1.9   2.1    1  5979
   int_2 179.86 178.8 180.9    1  6659
   int_3  22.76  19.8  25.5    1  5906
 sigma_1   4.68   4.1   5.3    1  5282

Możesz wykonywać znacznie bardziej skomplikowane modele mcp, w tym modelowanie autoregresji rzędu N (przydatne w szeregach czasowych) itp. Oświadczenie: Jestem programistą mcp.