Kiedy zawodzi prawo wielkich liczb?

Pytanie jest po prostu zawarte w tytule: Kiedy zawodzi prawo wielkich liczb? Mam na myśli to, w jakich przypadkach częstotliwość zdarzenia nie będzie miała tendencji do teoretycznego prawdopodobieństwa?

Istnieją dwa twierdzenia (Kołmogorowa) i oba wymagają, aby przewidywana wartość była skończona. Pierwsze obowiązuje, gdy zmienne są IID, drugie, gdy próbkowanie jest niezależne, a wariancja wystarczająca$X_n$

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} < \infty$$

Powiedz, że wszystkie mają oczekiwaną wartość 0, ale ich wariancja wynosi n 2, więc warunek oczywiście się nie powiedzie. Co się wtedy stanie? Nadal możesz obliczyć szacunkową średnią, ale ta średnia nie będzie miała tendencji do 0, gdy będziesz próbować coraz głębiej. Będziesz miał tendencję do odchylania się coraz bardziej w miarę próbkowania.$X_n$$n^2$

Podajmy przykład. Powiedz, że jest jednorodne U ( - n 2 n , n 2 n ), tak że powyższy warunek zawodzi epicko.$X_n$$U(-n2^n , n2^n)$

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} = \sum_{n=1}^\infty \frac{n^2 2^{2n+2}}{12}\frac{1}{n^2} = \frac{1}{3} \sum_{n=1}^\infty 4^n = \infty.$$

Zauważając to

$$\bar{X}_n = \frac{X_n}{n} + \frac{n-1}{n}\bar{X}_{n-1},$$

widzimy przez indukcję, że obliczona średnia jest zawsze w przedziale(-2n,2n). Przy użyciu tego samego wzoru dlan+1, to też, że nie zawsze jest większa szansa niż1/8, które ˉ X n+1leży na zewnątrz(-2N,2N). Rzeczywiście,Xn+$\bar{X}_n$$(-2^n, 2^n)$$n+1$$1/8$$\bar{X}_{n+1}$$(-2^n, 2^n)$ jest jednolityU(-2n+1,2n+1)i leży na zewnątrz(-2n,2N),z prawdopodobieństwem1/4. Z drugiej strony$\frac{X_{n+1}}{n+1}$$U(-2^{n+1},2^{n+1})$$(-2^n, 2^n)$$1/4$jest w($\frac{n}{n+1}\bar{X}_n$ przez indukcję i symetrii jest dodatnia z prawdopodobieństwem 1 / 2 . Z powyższych obserwacji wynika, że natychmiast ˉ X n + 1 jest większa niż 2 N lub mniejsze niż - 2 n , każdy z prawdopodobieństwem większej niż 1 / 16 . Ponieważ prawdopodobieństwo, że | ˉ X n + 1 | $(-2^n, 2^n)$$1/2$$\bar{X}_{n+1}$$2^n$$-2^n$$1/16$ jest większe niż 1 / 8 , nie może być zbieżności 0 a n dąży do nieskończoności.$|\bar{X}_{n+1}| > 2^n$$1/8$$n$

Teraz, aby konkretnie odpowiedzieć na to pytanie, należy rozważyć wydarzenie . Jeśli dobrze zrozumiałem, pytasz „w jakich warunkach poniższe oświadczenie jest fałszywe?”$A$

$$\lim_{n \rightarrow \infty} \frac{1}{n}\sum_{k = 1}^{n} 1_A(X_k) = P(X \in A), \; [P]\;a.s.$$

gdzie jest funkcją wskaźnika zdarzenia A , tj. 1 A ( X k ) = 1, jeśli X k ∈ A i 0 w przeciwnym razie, a X k są identycznie rozmieszczone (i rozdzielone jak X ).$1_A$$A$ $1_A(X_k) = 1$$X_k \in A$$0$$X_k$$X$

Widzimy, że powyższy warunek się utrzyma, ponieważ wariancja funkcji wskaźnika jest ograniczona powyżej 1/4, co jest maksymalną wariancją zmiennej 0-1 Bernouilli. Tym, co może pójść nie tak, jest drugie założenie silnego prawa wielkich liczb, a mianowicie niezależnego próbkowania . Jeżeli losowo zmienne nie są próbkowane niezależnie czym zbieżność nie jest zapewniona.$X_k$

$X_k$$X_1$$k$$n$$A$