Czy funkcja autokorelacji całkowicie opisuje proces stochastyczny?

Czy proces stochastyczny jest całkowicie opisany przez jego funkcję autokorelacji?

Jeśli nie, jakie dodatkowe właściwości byłyby potrzebne?

Co oznacza pełny opis procesu stochastycznego? Cóż, matematycznie, proces stochastyczny to zbiór zmiennych losowych, po jednym dla każdej chwili w zestawie indeksów , gdzie zwykle jest całą rzeczywistą linią lub dodatnią rzeczywistą linią, a pełny opis oznacza, że ​​dla każdej liczby całkowitej i instancji czasowych , znamy rozkłady (wspólne) gdy zmiennymi losowymi , ,$\{X(t) : t \in {\mathbb T}\}$$t$ $\mathbb T$$\mathbb T$$n \geq 1$$n$$t_1, t_2, \ldots, t_n \in \mathbb T$$n$$X(t_1)$$X(t_2)$$\ldots, X(t_n)$. Jest to ogromna ilość informacji: musimy znać CDF dla dla każdej chwili , (dwuwymiarowy) połączony CDF dla i dla wszystkich wyborów momentu i , (trójwymiarowe) CDF , i itp. itd. itd.$X(t)$$t$$X(t_1)$$X(t_2)$$t_1$$t_2$$X(t_1)$$X(t_2)$$X(t_3)$

Naturalnie ludzie szukali prostszych opisów i bardziej restrykcyjnych modeli. Jedno uproszczenie występuje, gdy proces jest niezmienny w stosunku do zmiany początku czasu. Oznacza to, że to

• Wszystkie zmienne losowe w tym procesie mają identyczne CDF: dla wszystkich .$F_{X(t_1)}(x) = F_{X(t_2)}(x)$$t_1, t_2$
• Wszelkie dwie zmienne losowe oddzielone przez określony czas mają ten sam wspólny CDF, jak każda inna para zmiennych losowych oddzielonych przez ten sam czas. Na przykład zmienne losowe i są oddzielone przez sekund, podobnie jak zmienne losowe i , a zatem$X(t_1)$$X(t_1 + \tau)$$\tau$$X(t_2)$$X(t_2 + \tau)$$F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
• Każdy trzech zmiennych losowych , , rozmieszczone i siebie mają ten sam przegub, CDF jako , , które również jako odstępy między i ,$X(t_1)$$X(t_1 + \tau_1)$$X(t_1 + \tau_1 + \tau_2)$$\tau_1$$\tau_2$$X(t_2)$$X(t_2 + \tau_1)$$X(t_2 + \tau_1 + \tau_2)$$\tau_1$$\tau_2$
• i tak dalej dla wszystkich wielowymiarowych CDF. Zobacz na przykład odpowiedź Petera K., aby poznać szczegóły wielowymiarowej sprawy.

W rzeczywistości probabilistyczne opisy losowego procesu nie zależą od tego, co nazwiemy początkiem na osi czasu: przesunięcie wszystkich instancji czasu o określoną stałą do daje ten sam probabilistyczny opis zmiennych losowych. Ta właściwość nazywana jest stacjonarną ścisłością, a proces losowy, który cieszy się tą właściwością, nazywany jest ściśle stacjonarnym procesem losowym lub, mówiąc prościej, stacjonarnym procesem losowym. $t_1, t_2, \ldots, t_n$$\tau$$t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$

Należy pamiętać, że ścisła stacjonarność sama w sobie nie wymaga żadnej szczególnej formy CDF. Na przykład nie mówi, że wszystkie zmienne są gaussowskie.

Przymiotnik ściśle sugeruje, że można zdefiniować luźniejszą formę stacjonarności. Jeśli wspólny CDF dla jest taki sam jak wspólny CDF dla dla wszystkich wyborów i , wtedy mówi się, że losowy proces stacjonarny na zamówienie i jest określany jako -order stacjonarny losowy proces. Zauważ, że stacjonarny losowy proces jest również stacjonarny, aby uporządkować dla każdego wyniku dodatniego$N^{\text{th}}$$X(t_1), X(t_2), \ldots, X(t_N)$$N^{\text{th}}$$X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$$t_1,t_2, \ldots, t_N$$\tau$$N$$N^{\text{th}}$$N^{\text{th}}$$n$$n < N$ . (Jest tak, ponieważ wspólny CDF z jest granicą CDF z ponieważ argumentów zbliża się : uogólnienie ). Ściśle stacjonarny sposób losowy jest zatem losowy sposób, że jest nieruchomy wszystkie klasy .$n^{\text{th}}$$N^{\text{th}}$$N-n$$\infty$$F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$$N$

Jeśli proces losowy jest stacjonarny w (co najmniej) rzędzie , wówczas wszystkie mają ten sam rozkład, a zatem, zakładając, że istnieje średnia, jest takie samo dla wszystkich . Podobnie jest takie samo dla wszystkich i jest określane jako moc procesu. Wszystkie procesy fizyczne mają skończoną moc, dlatego często przyjmuje się, że w którym to przypadku, a zwłaszcza w starszej literaturze inżynierskiej, proces ten nazywany jest procesem drugiego rzędu . Wybór nazwy jest niefortunny, ponieważ zachęca do pomyłek z drugim rzędem $1$$X(t)$$E[X(t)] = \mu$$t$$E[(X(t))^2]$$t$$E[(X(t))^2] < \infty$stacjonarność (por. ta moja odpowiedź na stats.SE ), więc tutaj wywołamy proces, dla którego jest skończone dla wszystkich (niezależnie od tego, czy jest stałą) jako proces o skończonej sile i unikaj tego zamieszania. Ale zauważ to jeszcze raz$E[(X(t))^2]$$t$$E[(X(t))^2]$

proces stacjonarny pierwszego rzędu nie musi być procesem o skończonej mocy.

Rozważ losowy proces, który jest stacjonarny, aby zamówić . Ponieważ wspólny rozkład i jest taki sam, jak funkcja wspólnego rozkładu i , a wartość zależy tylko od . Oczekiwania te są skończone dla procesu o skończonej mocy, a ich wartość nazywa się funkcją autokorelacji procesu: jest funkcją , czasu rozdzielenie zmiennych losowych i i nie zależy od$2$$X(t_1)$$X(t_1 + \tau)$$X(t_2)$$X(t_2 + \tau)$$E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$$\tau$$R_X(\tau) = E[X(t)X(t+\tau)]$$\tau$$X(t)$$X(t+\tau)$$t$w ogóle. Należy również zauważyć, że więc funkcja autokorelacji jest parzystą funkcją jej argumentu.

Stacjonarny losowy proces drugiego rzędu o skończonej mocy ma takie właściwości

1. Jego średnia wartość jest stała$E[X(t)]$
2. Jego funkcja autokorelacji jest funkcją , separacji czasowej zmiennych losowych i , i nie wcale nie zależy od .$R_X(\tau) = E[X(t)X(t+\tau)]$$\tau$$X(t)$$X(t+\tau)$$t$

Założenie stacjonarności w pewnym stopniu upraszcza opis losowego procesu, ale dla inżynierów i statystów zainteresowanych budowaniem modeli na podstawie danych eksperymentalnych oszacowanie wszystkich tych CDF jest nietrudnym zadaniem, szczególnie gdy występuje tylko segment jednej ścieżki próbki (lub realizacja) na której można wykonać pomiary. Dwa pomiary, które są stosunkowo łatwe do wykonania (ponieważ inżynier ma już niezbędne narzędzia na swoim stole roboczym (lub programy w MATLAB / Python / Octave / C ++ w swojej bibliotece oprogramowania) to wartość DC z i funkcja autokorelacji$x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$$x(t)$$R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$(lub jego transformata Fouriera, widmo mocy ). Przyjmowanie tych pomiarów jako oszacowania średniej i funkcji autokorelacji procesu o skończonej mocy prowadzi do bardzo użytecznego modelu, który omówimy dalej.$x(t)$

Losowy proces o skończonej mocy nazywany jest procesem szerokokierunkowym (WSS) (również słabo stacjonarnym procesem losowym, który na szczęście ma również ten sam inicjalizm WSS), jeśli ma stałą średnią i jego funkcję autokorelacji zależy tylko od różnicy czasu (lub ).$R_X(t_1, t_2) = E[X(t_1)X(t_2)]$$t_1 - t_2$$t_2 - t_1$

Zauważ, że definicja nic nie mówi o CDF zmiennych losowych wchodzących w skład procesu; jest to całkowicie ograniczenie momentów losowych zmiennych pierwszego i drugiego rzędu . Oczywiście stacjonarny proces losowy drugiego rzędu o skończonej mocy (lub - stacjonarny (dla ) lub ściśle stacjonarny) jest procesem WSS, ale odwrotność nie musi być prawdziwa.$N^{\text{th}}$$N>2$

Proces WSS nie musi być stacjonarny dla żadnego zamówienia.

Rozważmy na przykład losowy proces gdzie przyjmuje cztery równie prawdopodobne wartości i . (Nie bój się: cztery możliwe ścieżki próbki tego losowego procesu to tylko cztery przebiegi sygnałowe sygnału QPSK). Zauważ, że każdy jest dyskretną losową zmienną, która ogólnie przyjmuje cztery równie prawdopodobne wartości i , łatwo zauważyć, że ogólnie i$\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$$\Theta$$0, \pi/2, \pi$$3\pi/2$$X(t)$$\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$$\cos(t+3\pi/2)=\sin(t)$$X(t)$$X(s)$mają różne rozkłady, więc proces nie jest nawet stacjonarny pierwszego rzędu. Z drugiej strony dla każdego gdy Krótko mówiąc, proces ma średnią zero, a jego funkcja autokorelacji zależy tylko od różnicy czasu , więc proces jest szeroko zakrojony stacjonarnie. Ale to nie jest stacjonarne pierwszego rzędu, a więc nie może być stacjonarne dla wyższych zamówień.

Nawet w przypadku procesów WSS, które są stacjonarnymi (lub ściśle stacjonarnymi) procesami losowymi drugiego rzędu, niewiele można powiedzieć o konkretnych formach rozkładu zmiennych losowych. W skrócie,

Proces WSS niekoniecznie jest stacjonarny (w dowolnej kolejności), a średnia i funkcja autokorelacji procesu WSS nie wystarcza, aby dać pełny statystyczny opis procesu.

Wreszcie, przypuśćmy, że proces stochastyczny jest Zakłada się Gaussa proces ( „udowodnienia”, to z każdym rozsądnym stopniem pewności nie jest zadaniem trywialnym). Oznacza to, że dla każdego , jest losową zmienną Gaussa i dla wszystkich liczb całkowitych dodatnich i wyborów instancji czasowych , , , zmiennych losowych , , są łącznie losowymi zmiennymi Gaussa . Teraz wspólna funkcja gęstości Gaussa jest całkowicie$t$$X(t)$$n \geq 2$$n$$t_1$$t_2$$\ldots, t_n$$N$$X(t_1)$$X(t_2)$$\ldots, X(t_n)$określone za pomocą średnich, wariancji i kowariancji zmiennych losowych, aw tym przypadku znając funkcję średnią (nie musi być stałą, jak jest to wymagane dla szerokiego sensu -stationarity) i funkcja autokorelacji dla wszystkich (nie musi to zależeć tylko od jak jest to wymagane dla stacjonarności szerokopasmowej) wystarczy, aby całkowicie określić statystyki procesu.$\mu_X(t) = E[X(t)]$$R_X(t_1, t_2) = E[X(t_1)X(t_2)]$$t_1, t_2$$t_1-t_2$

Jeśli proces gaussowski jest procesem WSS, to jest to również ściśle stacjonarny proces gaussowski. Na szczęście dla inżynierów i procesorów sygnałowych wiele procesów hałasu fizycznego może być dobrze modelowanych jako procesy gaussowskie WSS (a zatem procesy ściśle stacjonarne), dzięki czemu eksperymentalna obserwacja funkcji autokorelacji z łatwością zapewnia wszystkie wspólne rozkłady. Ponadto, ponieważ procesy gaussowskie zachowują swój charakter gaussowski podczas przechodzenia przez układ liniowy, a wyjściowa funkcja autokorelacji jest powiązana z funkcją wejściowej autokorelacji jako