Konwergencja prawdopodobieństwa a prawie pewna konwergencja

67

Nigdy tak naprawdę nie zastanawiałem się nad różnicą między tymi dwiema miarami konwergencji. (Lub, właściwie, każdy z różnych rodzajów zbieżności, ale wymieniam te dwa w szczególności ze względu na słabe i silne prawa wielkich liczb).

Jasne, mogę zacytować definicję każdego z nich i podać przykład, w którym różnią się one, ale wciąż nie rozumiem tego.

Jaki jest dobry sposób na zrozumienie różnicy? Dlaczego różnica jest ważna? Czy istnieje szczególnie pamiętny przykład, w którym się różnią?

raegtin
źródło
Również odpowiedź na to: stats.stackexchange.com/questions/72859/…
kjetil b halvorsen

Odpowiedzi:

67

Z mojego punktu widzenia różnica jest ważna, ale głównie z powodów filozoficznych. Załóżmy, że masz jakieś urządzenie, które z czasem się poprawia. Tak więc za każdym razem, gdy używasz urządzenia, prawdopodobieństwo jego awarii jest mniejsze niż przedtem.

Zbieżność prawdopodobieństwa mówi, że prawdopodobieństwo niepowodzenia spada do zera, gdy liczba zastosowań zbliża się do nieskończoności. Tak więc, po wielokrotnym użyciu urządzenia, możesz być bardzo pewny, że działa poprawnie, nadal może zawieść, jest to bardzo mało prawdopodobne.

Konwergencja prawie na pewno jest nieco silniejsza. Mówi, że całkowita liczba awarii jest skończona . Oznacza to, że jeśli policzysz liczbę awarii, gdy liczba zastosowań zbliża się do nieskończoności, otrzymasz liczbę skończoną. Wpływ tego jest następujący: w miarę używania urządzenia, po skończonej liczbie operacji wyczerpiesz wszystkie awarie. Od tego momentu urządzenie będzie działać idealnie .

Jak zauważa Srikant, tak naprawdę nie wiesz, kiedy wyczerpałeś wszystkie niepowodzenia, więc z czysto praktycznego punktu widzenia nie ma dużej różnicy między tymi dwoma trybami zbieżności.

Jednak osobiście cieszę się, że na przykład istnieje silne prawo dużej liczby, a nie tylko słabe prawo. Ponieważ teraz eksperyment naukowy mający na celu uzyskanie, powiedzmy, prędkości światła, jest uzasadniony przy przyjmowaniu średnich. Przynajmniej teoretycznie po uzyskaniu wystarczającej ilości danych można dowolnie zbliżyć się do prawdziwej prędkości światła. W procesie uśredniania nie wystąpią żadne awarie (jakkolwiek mało prawdopodobne).

Pozwól, że wyjaśnię, co rozumiem przez „błędy (jakkolwiek nieprawdopodobne) w procesie uśredniania”. Wybierz dowolnie dowolnie. Otrzymujesz n oszacowań X 1 , X 2 , , X n prędkości światła (lub innej wielkości), która ma pewną „prawdziwą” wartość, powiedzmy μ . Obliczasz średnią S n = 1δ>0nX1,X2),,Xnμ Jak uzyskać więcej danych (nzwiększa) można obliczyćSNdla każdejn=1,2,.... Słabe prawo mówi (przy niektórych założeniach oXn), że prawdopodobieństwo P(|Sn-μ|>δ)0, gdynidzie do. Silne prawo mówi, że tyle razy| Sn

S.n=1nk=1nXk.
nS.nn=1,2),Xn
P.(|S.n-μ|>δ)0
njest większy niż δ jest skończony (z prawdopodobieństwem 1). To znaczy, jeśli zdefiniujemy funkcję wskaźnika I ( | S n - μ | > δ ), która zwraca jedną, gdy | S n - μ | > δ i zero w przeciwnym razie, to n = 1 I ( | S n - μ | > δ ) zbiega się. Daje to znaczne zaufanie do wartości S n|S.n-μ|δja(|S.n-μ|>δ)|S.n-μ|>δ
n=1ja(|S.n-μ|>δ)
S.n, ponieważ gwarantuje (tj. z prawdopodobieństwem 1) istnienie pewnej skończonej liczby takiej, że | S n - μ | < δ dla wszystkich n > n 0 (tzn. średnia nigdy nie zawodzi dla n > n 0 ). Pamiętaj, że słabe prawo nie daje takiej gwarancji.n0|S.n-μ|<δn>n0n>n0
Robby McKilliam
źródło
1
Dzięki, podoba mi się punkt widzenia nieskończonej serii!
raegtin
1
Myślę, że miałeś na myśli policzalne i niekoniecznie skończone, czy się mylę? Czy też mieszam z całkami.
Royi,
Aby być bardziej dokładnym, zestaw zdarzeń, które się zdarza (lub nie), jest miarą zera -> prawdopodobieństwo wystąpienia zera.
Royi,
n0n0
33

Wiem, że na to pytanie już udzielono odpowiedzi (i całkiem dobrze, moim zdaniem), ale było tu inne pytanie , które miało komentarz @NRH, który wspomniał o objaśnieniu graficznym, i zamiast umieszczać tam zdjęcia , które wydają się bardziej odpowiednie umieść je tutaj.

A więc proszę. To nie jest tak fajne jak pakiet R. Ale jest samodzielny i nie wymaga subskrypcji JSTOR.

Xja=±1

S.nn=1nja=1nXja,n=1,2),.

Silne prawo dużych liczb

SLLN (konwergencja prawie na pewno) mówi, że możemy być w 100% pewni, że ta krzywa rozciągająca się w prawo ostatecznie ostatecznie, w pewnym skończonym czasie, całkowicie spadnie w obrębie pasm na zawsze (w prawo).

Kod R użyty do wygenerowania tego wykresu znajduje się poniżej (pominięto etykiety wykresu ze względu na zwięzłość).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

Słabe prawo wielkich liczb

n

Następuje kod R dla wykresu (ponownie pomijanie etykiet).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)
Społeczność
źródło
6

Rozumiem to w następujący sposób,

Konwergencja prawdopodobieństwa

Prawdopodobieństwo, że sekwencja zmiennych losowych jest równa wartości docelowej, zmniejsza się asymptotycznie i zbliża się do 0, ale nigdy nie osiąga 0.

Prawie pewna konwergencja

Sekwencja zmiennych losowych będzie asymptotycznie równa wartości docelowej, ale nie można przewidzieć, kiedy to nastąpi.

Wiki ma kilka przykładów zarówno co powinno przyczynić się do wyjaśnienia powyżej (w szczególności patrz przykład łucznika w kontekście konwergencji w prob i przykładem miłości w kontekście niemal pewien konwergencji).

Z praktycznego punktu widzenia wystarczająca jest zbieżność prawdopodobieństwa, ponieważ nie obchodzą nas szczególnie mało prawdopodobne zdarzenia. Na przykład spójność estymatora jest zasadniczo zbieżnością prawdopodobieństwa. Tak więc, stosując spójne oszacowanie, domyślnie uznajemy fakt, że w dużych próbach istnieje bardzo małe prawdopodobieństwo, że nasze oszacowanie jest dalekie od prawdziwej wartości. Żyjemy z tą „wadą” zbieżności prawdopodobieństwa, ponieważ wiemy, że asymptotycznie prawdopodobieństwo oszacowania dalekiego od prawdy jest znikomo małe.

gung
źródło
Podejrzany redaktor twierdzi, że powinno to brzmieć: „Prawdopodobieństwo, że sekwencja zmiennych losowych nie jest równa wartości docelowej ...”.
gung
„Prawdopodobieństwo, że sekwencja zmiennych losowych jest równa wartości docelowej, zmniejsza się asymptotycznie i zbliża się do 0, ale nigdy nie osiąga 0.” Czy nie powinno być, że MOŻE nigdy nie osiągnie 0?
Jyotish Robin
@gung Prawdopodobieństwo, że jest ona równa wartości docelowej, zbliża się do 1 lub prawdopodobieństwo, że nie jest ona równa wartości docelowej, zbliża się do 0. Obecna definicja jest niepoprawna.
Undertherainbow
5

Jeśli podoba Ci się objaśnienie wizualne, w American Statistician był ciekawy artykuł „Teacher's Corner” na ten temat. Jako bonus autorzy zawarli pakiet R, aby ułatwić naukę.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}
Kingsford Jones
źródło
1

Ten ostatni facet wyjaśnia to bardzo dobrze. Jeśli weźmiesz ciąg zmiennych losowych Xn = 1 z prawdopodobieństwem 1 / n, w przeciwnym razie zero. Łatwo zauważyć ograniczenie, które z prawdopodobieństwem zbliża się do zera, ale prawie wcale nie jest zbieżne. Jak powiedział, prawdopodobieństwo nie obchodzi, że możemy dostać jeden w dół drogi. Niemal na pewno tak.

Prawie na pewno oznacza zbieżność prawdopodobieństwa, ale nie na odwrót?

Tim Brown
źródło
5
Witamy na stronie, @ Tim-Brown, doceniamy twoją pomoc w odpowiedzi na pytania tutaj. Należy zauważyć, że najlepiej identyfikować inne odpowiedzi na podstawie nazwy użytkownika odpowiadającego, „ten ostatni facet” nie będzie zbyt skuteczny. Np. Lista będzie z czasem porządkowana w miarę głosowania przez ludzi. Możesz przeczytać nasze FAQ .
gung
0

Jedną rzeczą, która pomogła mi zrozumieć różnicę, jest następująca równoważność

P.(limn|Xn-X|=0)=1⇐⇒limn(łykm> =n|Xm-X|>ϵ)=0 ϵ>0

W porównaniu konwergencja stochastyczna:

limnP.(|Xn-X|>ϵ)=0 ϵ>0

Porównując prawą stronę górnej równoważności z konwergencją stochastyczną, różnica wydaje się wyraźniejsza.

Sebastian
źródło