Oczekiwana liczba przypadków, gdy średnia empiryczna przekroczy wartość

Biorąc pod uwagę sekwencję losowych zmiennych iid, powiedzmy dla , próbuję ograniczyć oczekiwaną liczbę razy średnią empiryczną będzie przekraczać wartość, , gdy będziemy nadal rysować próbki, czyli: $X_i \in [0,1]$ $i = 1,2,...,n$ $\frac{1}{n}\sum_{i=1}^n X_i$ $c \geq 0$

T \overset{d e f}{=} \sum_{j = 1}^{n} P ({\frac{1}{j} \sum_{i = 1}^{j} X_{i} \geq c})

$\mathcal{T} \overset{def}{=} \sum_{j=1}^n \mathbb{P} \left(\left\{ \frac{1}{j}\sum_{i=1}^j X_i \geq c\right\}\right)$

Jeśli założymy, że dla niektórych , możemy użyć nierówności Hoeffdinga, aby dojść do $c = a + \mathbb{E}[X]$ $a > 0$

\begin{aligned} T & \leq \sum_{j = 1}^{n} e^{- 2 j a^{2}} \\ = \frac{1 - e^{- 2 a^{2} n}}{e^{2 a^{2}} - 1} \end{aligned}

$\begin{align} \mathcal{T} & \leq \sum_{j=1}^n e^{-2ja^2} \\ & = \frac{1 - e^{-2 a^2 n}}{e^{2 a^2}-1} \end{align}$

Które wygląda ładnie (może), ale w rzeczywistości jest dość luźne, czy są lepsze sposoby na ograniczenie tej wartości? Spodziewam się, że może istnieć sposób, ponieważ różne zdarzenia (dla każdego ) wyraźnie nie są niezależne, nie znam żadnego sposobu na wykorzystanie tej zależności. Byłoby również miło usunąć ograniczenie, że jest większe niż średnia. $j$ $c$

edycja : Ograniczenie powyżej wartości średniej można usunąć, jeśli użyjemy nierówności Markowa w następujący sposób: $c$

\begin{aligned} T & \leq \sum_{j = 1}^{n} \frac{\frac{1}{j} E [X]}{c} \\ = \frac{E [X] H_{n}}{c} \end{aligned}

$\begin{align} \mathcal{T} & \leq \sum_{j=1}^n \frac{\frac{1}{j}\mathbb{E}[X]}{c} \\ & = \frac{\mathbb{E}[X]H_n}{c} \end{align}$ Co jest bardziej ogólne, ale znacznie gorsze niż powyższa granica, chociaż jasne jest, że musi się różnić, ilekroć .

T

$\mathcal{T}$

c \leq E [X]

$c \leq \mathbb{E}[X]$

mathematical-statistics expected-value bounds fairidox
źródło

Twoja definicja nie pasuje do twojego opisu. Gdyby usunąć „ ”, byłaby to oczekiwana liczba przekroczeń , ale jak napisano, jest to liniowa kombinacja czasów . Nie jest to oczywiście oczekiwanie, ponieważ prawdopodobieństwa nie wykluczają się wzajemnie. Na przykład, gdy , .

T

$\mathcal{T}$

j \times

$j\times$

c

$c$

c \leq 0

$c\le 0$

T = n (n + 1) / 2

$\mathcal{T} = n(n+1)/2$

whuber

@ whuber och, racja, dobra uwaga dzięki, naprawiłem to powyżej.

fairidox

Zauważyłem, że zmieniłeś górną granicę. Teraz wydaje się być negatywny ;-).

whuber

Czy „ ” wykładniczej nie powinien być podniesiony do kwadratu? - Ok, upraszcza się z domeną [0,1]

j

$j$

Alecos Papadopoulos

Jest to podejście raczej ręczne i naprawdę doceniłbym kilka komentarzy na ten temat (i te krytyczne są zwykle najbardziej pomocne). Jeśli dobrze rozumiem, OP oblicza , gdzie każda próbka zawiera obserwację poprzedniej próbki +1 z nowego rv rozkład średniej każdej próbki. Potem możemy pisać $\bar x_j$ $F_j$

T \overset{d e f}{=} \sum_{j = 1}^{n} (1 - F_{j} (c)) = n - \sum_{j = 1}^{n} F_{j} (c)

$\mathcal{T} \overset{def}{=} \sum_{j=1}^n \left(1-F_j(c)\right) = n- \sum_{j=1}^n F_j(c)$

Rozważmy przykładową wielkość , po czym rozkład średniej próbki jest praktycznie normalne, oznaczamy . Potem możemy pisać $m$ $\hat G$

T = n - \sum_{j = 1}^{m} F_{j} (c) - \sum_{j = m + 1}^{n} {\hat{G}}_{j} (c) < n - \sum_{j = m + 1}^{n} {\hat{G}}_{j} (c)

$\mathcal{T} = n- \sum_{j=1}^m F_j(c)-\sum_{j=m+1}^n \hat G_j(c) < n-\sum_{j=m+1}^n \hat G_j(c)$

Rozwiązując otrzymujemy gdzie jest standardową normą cdf, jest standardowym odchyleniem procesu iid, a jest jego średnią. Wkładamy w oprawę i zmieniamy aranżację $\hat G_j(c)$

{\hat{G}}_{j} (c) = 1 - Φ (\frac{\sqrt{j}}{σ} (μ - c))

$\hat G_j(c) = 1- \Phi\left(\frac{\sqrt j}{\sigma}(\mu-c)\right)$

Φ

$\Phi$

σ

$\sigma$

μ

$\mu$

T < m + \sum_{j = m + 1}^{n} Φ (\frac{\sqrt{j}}{σ} (- a))

$\mathcal{T} < m+\sum_{j=m+1}^n \Phi\left(\frac{\sqrt j}{\sigma}(-a)\right)$

Zauważ, że ta granica zależy również od wariancji procesu. Czy to jest lepsze niż to przedstawione w pytaniu? Będzie to zależeć przede wszystkim od tego, jak „szybko” rozkład średniej próbki stanie się „prawie normalny”. Aby podać przykład liczbowy, załóż, że . Załóżmy również, że zmienne losowe są jednolite w . Następnie i . Rozważ 10% odchylenie od średniej, tj. Ustaw . wtedy: już dla granica, którą proponuję (co ma znaczenie dla ) staje się ściślejsza. Dla granica Hoeffdinga wynosi $m= 30$ $[0,1]$ $\sigma = \sqrt \frac{1}{12}$ $\mu = \frac 12$ $a=0.05$ $n=34$ $n>30$ $n=100$ $78.5$ podczas gdy proponowane mnie ograniczenie to . Hoeffding związany jest zbieżny do gdy związany że proponuje Zwiększając rozbieżność pomiędzy dwiema granicami zredukowane, lecz pozostają widoczne: dla odchylenia 20%, The Hoeffding związany jest zbieżny do natomiast związany Proponuję zbiegać się do (tj. suma normalnych plików cdfs w bardzo niewielkim stopniu przyczynia się do ogólnego ograniczenia). Nieco bardziej ogólnie zauważamy, że dla granica Hoeffdinga jest zbieżna z $36.2$ $\approx 199.5$ $\approx 38.5$ $a$ $a=0.1$ $49.5$ $30.5$
$n\rightarrow \infty$

H_{b} \to \frac{1}{e^{2 a^{2}} - 1}

$H_b\rightarrow \frac{1}{e^{2 a^2}-1}$ podczas gdy mój związany z

A_{b} \to m

$A_b \rightarrow m$

Ponieważ dla małych wartości (co jest raczej przypadkiem zainteresowania) staje się dużą liczbą, nadal istnieje możliwość, że może przewyższyć ją szczelnością, nawet jeśli próbka jest taka, że rozkład średniej próbki zbiega się powoli do rozkład normalny. $a$ $H_b$ $A_b$

Alecos Papadopoulos
źródło

„ (tj. nie więcej niż zakładany próg wielkości próby, aby uzyskać normalne przybliżenie w rozkładzie średniej próbki) ” o czym tu mówisz?

Glen_b -Reinstate Monica

Nic ważnego. Gdy piszę kilka wierszy powyżej, podstawową zasadą jest to, że rozkład średniej próbki jest „dużo” jak zwykle, że potrzebujemy co najmniej wielkości próbki 30. Tak więc dla próbki wielkości 100 i odchylenia 20% przypadek, moja granica wynosi tj. - innymi słowy część granicy wnosi bardzo niewiele.

\approx 30.5

$\approx 30.5$

m + 0.5

$m + 0.5$

\sum_{j = m + 1}^{n} Φ (\frac{\sqrt{j}}{σ} (- a))

$\sum_{j=m+1}^n \Phi\left(\frac{\sqrt j}{\sigma}(-a)\right)$

Alecos Papadopoulos,

O ile nie możesz podać okoliczności, w jakich się ono utrzymuje , unikaj nazywania tej zasady ogólną zasadą. Liczba 30 jest całkowicie dowolna (zazwyczaj albo zbyt słaba, albo zdecydowanie zbyt silna), a ta liczba 30 pojawia się również w twoim przypadku jest, jak sądzę, prostym przypadkiem.

Glen_b

@Glen_b „30” nawet nie był zbiegiem okoliczności - użyłem go, aby podać numeryczny przykład. Nie mam nic przeciwko temu problemowi, nie lubię „praktycznych zasad” (szczególnie, gdy są wątpliwe). Dokonałem pewnych zmian w mojej odpowiedzi. Dzięki za wkład.

Alecos Papadopoulos,

@Glen_b Dzięki za prawdopodobnie niestacjonarną (tj. Długą) pamięć!

Alecos Papadopoulos

Oczekiwana liczba przypadków, gdy średnia empiryczna przekroczy wartość

Odpowiedzi: