Jaka jest różnica między ergodycznym a stacjonarnym?

42

Mam problem z rozróżnieniem tych dwóch pojęć. To moje dotychczasowe zrozumienie.

Proces stacjonarny jest procesem stochastycznym, którego właściwości statystyczne nie zmieniają się z czasem. Dla ściśle stacjonarnego procesu oznacza to, że jego łączny rozkład prawdopodobieństwa jest stały; dla szeroko zakrojonego procesu stacjonarnego oznacza to, że jego pierwszy i drugi moment są stałe.

Proces ergodyczny to taki, w którym jego właściwości statystyczne, takie jak wariancja, można wywnioskować z wystarczająco długiej próbki. Na przykład średnia próbki jest zbieżna z prawdziwą średnią sygnału, jeśli uśrednia się wystarczająco długo.

Teraz wydaje mi się, że sygnał musiałby być stacjonarny, aby był ergodyczny.

  • I jakie sygnały mogą być stacjonarne, ale nie ergodyczne?
  • Jeśli na przykład sygnał ma tę samą wariancję przez cały czas, to w jaki sposób wariancja uśredniona w czasie może nie zbiegać do prawdziwej wartości?
  • Więc jaka jest prawdziwa różnica między tymi dwoma pojęciami?
  • Czy możesz podać mi przykład procesu, który jest stacjonarny bez bycia ergodycznym, lub ergodyczny bez bycia stacjonarnym?
Matt
źródło
Możesz spojrzeć na tę odpowiedź na powiązane pytanie.
Dilip Sarwate
Wykład ten wskazuje dosłownie, że ergodic jest podzbiorem stacjonarnym. Po prostu nie rozumiem, co robi artykuł dotyczący stacjonarnego procesu Ergodic w Wikipedii? Czy to oznacza, że ​​istnieje niestacjonarny proces ergodyczny?
Val
@Val Nie będę bronił tego, co mówi Wikipedia, ale zwrócę uwagę, że ostatnia część mojej odpowiedzi poniżej zawiera przykład procesu WSS, który nie jest stacjonarny, a jednak ma charakter ergodyczny.
Dilip Sarwate

Odpowiedzi:

33

Proces losowy to zbiór zmiennych losowych, po jednej dla każdej rozważanej chwili. Zazwyczaj może to być czas ciągły ( ) lub czas dyskretny (wszystkie liczby całkowite lub wszystkie momenty czasu gdzie jest przedziałem próbkowania). <t<nnTT

  • Stacjonarność odnosi się do rozkładów zmiennych losowych. W szczególności w procesie stacjonarnym wszystkie zmienne losowe mają tę samą funkcję rozkładu, a bardziej ogólnie, dla każdej dodatniej liczby całkowitej i instancji czasu , łączny rozkład zmiennych losowych jest taki sam jak wspólna dystrybucja . Oznacza to, że jeśli przesuniemy wszystkie instancje czasu o , statystyczny opis procesu w ogóle się nie zmieni: proces jest stacjonarnynnt1,t2,,tnnX(t1),X(t2),,X(tn)X(t1+τ),X(t2+τ),,X(tn+τ)τ.
  • Z drugiej strony, Ergodicity nie patrzy na właściwości statystyczne zmiennych losowych, ale na ścieżki próbek , czyli to, co obserwujesz fizycznie. Wracając do zmiennych losowych, pamiętaj, że zmienne losowe są odwzorowaniami z przestrzeni próbki na liczby rzeczywiste; każdy wynik jest odwzorowany na liczbę rzeczywistą, a różne zmienne losowe zwykle odwzorowują dowolny wynik na różne liczby. Wyobraź sobie więc, że jakaś wyższa istota przeprowadziła eksperyment, w wyniku którego w przestrzeni próbki uzyskano wynik , a wynik ten został odwzorowany na (zwykle różne) liczby rzeczywiste przez wszystkie zmienne losowe w tym procesie: w szczególności losowe zmienna zmapowałaωX(t)ωna liczbę rzeczywistą oznaczymy jako . Te numery , traktowane jako kształt fali, to próbka ścieżki odpowiadające oraz różne efekty daje nam różne ścieżki próbki. Ergodyczność zajmuje się następnie właściwościami ścieżek próbki i tym, jak te właściwości odnoszą się do właściwości zmiennych losowych wchodzących w skład procesu losowego.x(t)x ( t ) ω x(t)ω

Teraz dla przykładowej ścieżki z procesu stacjonarnego możemy obliczyć średni czas ale co ma wspólnego z , średnią z losowego procesu? (Zauważ, że nie ma znaczenia, której wartości używamy; wszystkie zmienne losowe mają ten sam rozkład, a zatem mają tę samą średnią (jeśli średnia istnieje)). Jak mówi OP, średnia wartość lub składnik DC ścieżki próbki jest zbieżny ze średnią wartością procesu, jeśli ścieżka próbki jest wystarczająco długo obserwowana, pod warunkiem, że proces jest ergodycznyx(t)ˉ x = 1

x¯=12TTTx(t)dt
x¯μ=E[X(t)]ti stacjonarne itp. Oznacza to, że ergodyczność pozwala nam połączyć wyniki dwóch obliczeń i stwierdzić, że równa się Proces, dla którego zachowuje się taka równość, mówi się , że jest -ergodyczny , a proces jest -ergodyczny, jeśli jego funkcja autokowariancji ma właściwość:
limTx¯=limT12TTTx(t)dt

μ=E[X(t)]=ufX(u)du.
CX(τ)
limT12TTTCX(τ)dτ=0.

Zatem nie wszystkie stacjonarne procesy muszą być wrednie ergodyczne. Ale są też inne formy ergodyczności. Na przykład w przypadku procesu autokowariancji-ergodycznej funkcja autokowariancji segmentu skończonego (powiedzmy dla ścieżki próbki zbieżna z funkcją autokowariancji procesu jako . Ogólne stwierdzenie, że proces jest ergodyczny, może oznaczać dowolną z różnych form lub określoną formę; po prostu nie można powiedzieć,t(T,T)x(t)CX(τ)T

Jako przykład różnicy między tymi dwoma pojęciami załóżmy, że dla wszystkich rozważanych . Tutaj jest zmienną losową. Jest to proces stacjonarny: każdy ma taki sam rozkład (mianowicie rozkład ), taką samą średnią , tę samą wariancję itp .; każdy i mają ten sam rozkład połączeń (choć jest zdegenerowany) i tak dalej. Ale proces ten nie jest ergodyczny, ponieważ każda ścieżka próbki jest stała . W szczególności, jeśli wynikiem próby eksperymentu (przeprowadzonej przez ciebie lub przez przełożonego) jest wynikX(t)=YtYX(t)YE[X(t)]=E[Y]X(t1)X(t2)Y ma wartość , wówczas ścieżka próbki losowego procesu, która odpowiada temu wynikowi eksperymentu, ma wartość dla wszystkich , a wartość DC ścieżki próbki wynosi , a nie , bez względu na to, jak długo obserwujesz (raczej nudną) ścieżkę próbki. W wszechświecie równoległym próba dałaby a ścieżka próbki w tym wszechświecie miałaby wartość dla wszystkich . Nie jest łatwo napisać matematyczne specyfikacje, aby wykluczyć takie trywialności z klasy procesów stacjonarnych, dlatego jest to bardzo minimalny przykład stacjonarnego losowego procesu, który nie jest ergodyczny.ααtαE[X(t)]=E[Y]Y=ββt

Czy może istnieć losowy proces, który nie jest stacjonarny, ale ma charakter ergodyczny? Cóż, N0 , nie jeśli ergodic ma na myśli ergodic w każdy możliwy sposób: na przykład, jeśli mierzymy ułamek czasu, w którym długi odcinek ścieżki próbki ma wartość co najwyżej , jest to szacunek dobra , wartość (wspólny) CDF z „s w jeśli proces asumeed do bądź ergodyczny w odniesieniu do funkcji dystrybucji. Ale , my może mieć przypadkowych procesów, które sąx(t)αP(X(t)α)=FX(α)FXX(t)αnie stacjonarne, ale mimo to złośliwe i autokowariancyjne . Weźmy na przykład proces gdzie przyjmuje cztery równie prawdopodobne wartości i . Zauważ, że każdy jest dyskretną zmienną losową, która ogólnie przyjmuje cztery równie prawdopodobne wartości i , Łatwo zauważyć, że ogólnie i{X(t):X(t)=cos(t+Θ),<t<}Θ0,π/2,π3π/2X(t)cos(t),cos(t+π/2)=sin(t),cos(t+π)=cos(t)cos(t+3π/2)=sin(t)X(t)X(s)mają różne rozkłady, więc proces nie jest nawet stacjonarny pierwszego rzędu. Z drugiej strony dla każdego gdy Krótko mówiąc, proces ma średnią zero, a jego funkcja autokorelacji (i autokowariancji) zależy tylko od różnicy czasu , więc proces jest

E[X(t)]=14cos(t)+14(sin(t))+14(cos(t))+14sin(t)=0
t
E[X(t)X(s)]=14[cos(t)cos(s)+(cos(t))(cos(s))+sin(t)sin(s)+(sin(t))(sin(s))]=12[cos(t)cos(s)+sin(t)sin(s)]=12cos(ts).
tsszeroko rozumiany stacjonarny. Ale to nie jest stacjonarne pierwszego rzędu, a więc nie może być stacjonarne dla wyższych zamówień. Teraz, gdy eksperyment jest wykonywany i znana jest wartość , otrzymujemy funkcję przykładową, która wyraźnie musi być jedną z i które mają wartość DC równą , a którego funkcja autokorelacji to , to samo co , a zatem proces ten jest średnio-ergodyczny i autokorelacyjny-ergodic, nawet jeśli wcale nie jest stacjonarny. Na zakończenie zauważam, że proces nie jest ergodyczny w odniesieniu do funkcji dystrybucjiΘ±cos(t)±sin(t)0012cos(τ)RX(τ)oznacza to, że nie można powiedzieć, że jest ergodyczny pod każdym względem.

Dilip Sarwate
źródło
1
Nie mogłem zrozumieć przykładu. Jeśli powiesz, że Y jest stałą, to dowolna ścieżka x (t) jest stała. Średnia stałej jest sama w sobie, stąd E [X (t)] = E [Y] = Y. Chyba że coś przeoczyłem.
Royi,
Dodałem kilka słów, aby wyjaśnić znaczenie. jest zmienną losową, a nie stałą. Jego wartość na każdej próbie eksperymentu nie musi być taka sama jak . YE[Y]
Dilip Sarwate
1
Jeśli sygnał jest ergodyczny, co oznacza, że ​​średnia czasowa zbiega się ze średnią zespoloną, ale różne mają różne środki, ponieważ proces nie jest stacjonarny, jaka jest definicja średniej zespolonej, do której zbiega się średnia czasowa? X
Dilip Sarwate
1
@Matt W rozwiązaniu książki „systemy komunikacyjne” Simon Haykin pisze, że „aby proces losowy był ergodyczny, musi on być stacjonarny”
Roney Island
1
@ColinHicks Tak, to literówka w mojej odpowiedzi, którą wkrótce poprawię. Dziękuję za zwrócenie mi na to uwagi.
Dilip Sarwate
6

Rozważmy hipotetyczny losowy proces, w którym funkcje przykładowe są wartościami prądu stałego i różnią się od siebie:

X 1 (t) = stała = średnia z X 1 (t)

X 2 (t) = stała = średnia z X 2 (t)

Średnia czasowa i jest stała, ale nie równa. jeśli mój proces jest stacjonarny i są równe, a RV (patrz odpowiedź Dilipa)X1(t)X2(t)X(t1)X(t2)

Średnia zespolona jest stała.X(t)

Ta średnia zespolona z pewnością nie jest równa średniej czasowej i (one same nie są równe). Można to nazwać procesem stacjonarnym, ale nie ergodycznym.X1(t)X2(t)

W przeciwieństwie do tego, gdzie to RV jest ergodyczna.X(t)=Acos(ωt+θ)θ

Soumya
źródło
2

Mam nadzieję, że ten film (z Florida Institute of Technology. Zatytułowany „co to jest szeroko rozumiany staionarny, ścisły sens, sygnały ergodyczne” autorstwa dr Iviki Kostanic w jego klasie teorii komunikacji) z 16:55 rozwiąże twoje wątpliwości

użytkownik8162
źródło
Witamy w DSP.SE! Proponuję dodać nazwę i opisy do filmu, na wypadek, gdyby któregoś dnia został usunięty, a link jest nieprawidłowy. Dziękuję Ci.
lennon310
1

Proces ergodyczny to proces, w którym można zastąpić środek ergodyczny środkiem czasowym.

Rzeczywisty środek, wariancja itp. Są definiowane poprzez śledzenie procesu w czasie i uśrednianie itp. Na przykład, jeśli chcesz poznać średnią z moich rozmiarów, musisz ją uśrednić od momentu mojego urodzenia do kiedy umrę. Oczywiście późniejszy przykład nie jest procesem stacjonarnym.

Środkiem ergodycznym byłoby, gdyby zamiast podążać za moim rozmiarem w czasie, zamroziłbyś czas i wziąłbyś go na próbkę różnych indywidualnych ludzi. Nie ma powodu, aby te dwa środki były takie same, więc proces mojego rozmiaru nie jest ergodyczny.

To zły przykład, ale staje się ważniejszy, jeśli weźmie się pod uwagę prosty przypadek gazu w równowadze. Na przykład zanotowano średnią prędkość do kwadratu (średnia w czasie), ale często oblicza się ją, przyjmując zespół średnią : średnią prędkości kwadratowej wszystkich cząsteczek gaz w jednej chwili .V2¯V2t

Większość twierdzeń termodynamicznych wymaga użycia , ale łatwiej jest obliczyć i użyć . Hipoteza ergodyczna jest hipotezą stwierdzającą, że słuszne jest zastąpienie jednego drugim. Proces ergodyczny to proces, dla którego hipoteza ergodyczna jest prawdziwa.V2¯V2

Hipoteza ergodyczna jest fałszywa w ogólnym przypadku.

Jean-Yves
źródło
1
Nie rozumiem tej odpowiedzi. Proces wielkości Jolowa nie jest stacjonarny ani ergodyczny, podczas gdy OP zastanawia się, czy może istnieć proces stacjonarny, który nie jest ergodyczny. Czy odpowiedź jest zasadniczo taka, że ​​ogólnie hipoteza ergodyczna jest fałszywa i jest (w pewnym sensie) ogólnie prawdą, że średnia próbki różni się od średniej zbioru, po prostu przyzwyczaj się do niej i żyj z nią?
Dilip Sarwate
@DilipSarwate: po ponownym przeczytaniu jest to zła odpowiedź, która nie odpowiada na pytanie, i rozważam usunięcie go. Przypomniałem sobie moje wykłady termodynamiczne, a pytanie dotyczyło raczej statystyki ...
Jean-Yves
@DilipSarwate jaki jest rozmiar Jolow?
Roney Island,
1
@MichaelCorleone Nie pamiętam, co oznacza odniesienie do Jolow. Domyślam się, że Jean-Yves opublikował swoją odpowiedź pod pseudonimem Jolow, a ja użyłem tego imienia w mojej odpowiedzi i od tego czasu postanowił używać Jean-Yves jako nazwy użytkownika na stackexchange. Takie zmiany nazw są odzwierciedlane w treści wyświetlanej na ekranie, ale nie są rejestrowane jako edycja odpowiedzi.
Dilip Sarwate,
@DilipSarwate: rzeczywiście masz rację. Jolow to tylko mój pseudonim.
Jean-Yves
1

Na przykład przeciwnego przypadku (tj. Przypadkowego procesu, który jest ergodyczny, ale nie stacjonarny), rozważ proces białego szumu, którego amplituda modulowana jest przez deterministyczną falę kwadratową. Średnia czasowa każdej funkcji próbki jest równa zero, podobnie jak średnia zespolona w całym czasie. Więc proces jest ergodyczny. Jednak wariancja dowolnej funkcji próbki pokazuje pierwotną zależność fali prostokątnej od czasu, więc proces nie jest stacjonarny.

Ten konkretny przykład jest stacjonarny o szerokim znaczeniu, ale można wymyślić pokrewne przykłady, które wciąż są ergodyczne, ale nawet nie mają szerokiego sensu.

Prof Mark
źródło
0

jak nie doceniam, poniższy przykład pokazuje ergodyczny i stacjonarny proces

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

oznacza 2 2 2 var 1

ponieważ średnia i wariancja każdej kolumny jest stała w czasie, a średnia i wariancja każdego rzędu jest stała w czasie

TPArrow
źródło