Jaka jest różnica między wariancją skończoną a nieskończoną

Jaka jest różnica między wariancją skończoną a nieskończoną? Moja wiedza na temat statystyk jest raczej podstawowa; Wikipedia / Google niewiele tu pomogło.

$\DeclareMathOperator{\E}{E} \DeclareMathOperator{\var}{var}$ Co to znaczy, że zmienna losowa ma „nieskończoną wariancję”? Co to znaczy, że zmienna losowa ma nieskończone oczekiwania? Wyjaśnienie w obu przypadkach jest raczej podobne, więc zacznijmy od przypadku oczekiwania, a następnie wariancji.

Niech będzie ciągłą zmienną losową (RV) (nasze wnioski będą obowiązywały bardziej ogólnie, dla przypadku dyskretnego zamień całkę na sumę). Aby uprościć ekspozycję, załóżmy, że .X ≥ $X$$X \ge 0$

Oczekiwania zdefiniowane są przez całkę gdy ta całka istnieje, to znaczy jest skończona. W przeciwnym razie mówimy, że oczekiwanie nie istnieje. Jest to niepoprawna całka i z definicji jest to Aby ograniczenie było skończone, wkład z ogona musi zniknąć, to znaczy musimy mieć Warunek konieczny (ale niewystarczający), aby tak się stało is . Powyżej pokazany warunek mówi, że wkład w oczekiwanie na (prawy) ogon musi zniknąć∫ ∞ 0 x f ( x

$$\E X = \int_0^\infty x f(x) \, d x$$ lim a → ∞ ∫ ∞ a x f ( x $$\int_0^\infty x f(x) \, d x = \lim_{a \rightarrow \infty} \int_0^a x f(x) \, d x$$ lim x → ∞ x f ( x ) = $$\lim_{a \rightarrow \infty} \int_a^\infty x f(x) \, d x =0$$ $\lim_{x\rightarrow \infty} x f(x) =0$. Jeśli tak nie jest, oczekiwania są zdominowane przez wkład z arbitralnie dużych zrealizowanych wartości . W praktyce będzie to oznaczać, że środki empiryczne będą bardzo niestabilne, ponieważ będą zdominowane przez rzadkie, bardzo duże zrealizowane wartości . I zauważ, że ta niestabilność środków próbkowania nie zniknie przy dużych próbkach --- jest to wbudowana część modelu!

W wielu sytuacjach wydaje się to nierealne. Powiedzmy, że jest to model ubezpieczenia (na życie), więc modeluje okres życia (człowieka). Wiemy, że powiedzmy, że nie występuje, ale w praktyce używamy modeli bez górnej granicy. Powód jest jasny: No trudno górna granica wiadomo, czy dana osoba jest (powiedzmy) 110 lat, nie ma powodu, że nie może żyć jeszcze jeden rok! Model z twardą górną granicą wydaje się więc sztuczny. Nadal nie chcemy, aby ekstremalny górny ogon miał duży wpływ.X > $X$$X > 1000$

Jeśli ma skończone oczekiwania, możemy zmienić model, aby mieć twardą górną granicę bez niepożądanego wpływu na model. W sytuacjach z rozmytą górną granicą, która wydaje się dobra. Jeśli model ma nieskończone oczekiwania, każda twarda górna granica, którą wprowadzimy do modelu, będzie miała dramatyczne konsekwencje! To jest prawdziwe znaczenie nieskończonych oczekiwań.$X$

Mając skończone oczekiwania, możemy mieć wątpliwości co do górnych granic. Z nieskończonymi oczekiwaniami nie możemy .

Teraz to samo można powiedzieć o nieskończonej wariancji, mutatis mutandi.

Aby to wyjaśnić, zobaczmy na przykładzie. W tym przykładzie wykorzystujemy rozkład Pareto, zaimplementowany w pakiecie R (na CRAN) aktuar jako pareto1 --- jednoparametrowy rozkład Pareto znany również jako rozkład Pareto typu 1. Posiada funkcję gęstości prawdopodobieństwa podaną przez dla niektórych parametrów . Gdy oczekiwanie istnieje i podaje je . Kiedy oczekiwanie nie istnieje, lub, jak mówimy, jest nieskończone, ponieważ całka definiująca je rozchodzi się w nieskończoność. Możemy zdefiniować rozkład w pierwszej chwilim>0,α>0α>1

$$f(x) = \begin{cases} \frac{\alpha m^\alpha}{x^{\alpha+1}} &, x\ge m \\ 0 &, x<m \end{cases}$$ $m>0, \alpha>0$$\alpha > 1$α≤1E(M)=∫ M m xf(x$\frac{\alpha}{\alpha-1}\cdot m$$\alpha \le 1$(patrz post Kiedy użyjemy tantilów i medialnych zamiast kwantyli i mediany? w celu uzyskania niektórych informacji i odniesień) jako (istnieje bez względu na to, czy istnieje oczekiwanie). (Późniejsza edycja: wymyśliłem nazwę „rozkład pierwszej chwili, później dowiedziałem się, że jest to związane z czymś, co jest„ oficjalnie ” nazwane momentami częściowymi ). $$E(M) = \int_m^M x f(x) \, d x = \frac{\alpha}{\alpha-1} \left( m - \frac{m^\alpha}{M^{\alpha-1}} \right)$$

Gdy oczekiwanie istnieje ( ), możemy go podzielić, aby uzyskać względny rozkład pierwszego momentu, podany przez Gdy jest tylko trochę większy niż jeden, więc oczekiwanie „ledwo istnieje”, całka definiująca oczekiwanie będzie się powoli zbiegać. Spójrzmy na przykład z . Wykreślmy zatem za pomocą R:E r ( M ) = E ( m ) / E ( ∞ ) = 1 - ( $\alpha> 1$

$$Er(M) = E(m)/E(\infty) = 1-\left(\frac{m}{M}\right)^{\alpha-1}$$ $\alpha$$m=1, \alpha=1.2$$Er(M)$

### Function for opening new plot file:
open_png  <-  function(filename) png(filename=filename,
                                     type="cairo-png")

library(actuar) # from CRAN
### Code for Pareto type I distribution:
# First plotting density and "graphical moments" using ideas from http://www.quantdec.com/envstats/notes/class_06/properties.htm   and used some times at cross validated

m  <-  1.0
alpha <- 1.2
# Expectation:
E   <-  m * (alpha/(alpha-1))
# upper limit for plots:
upper  <- qpareto1(0.99, alpha, m)   
#
open_png("first_moment_dist1.png")
Er  <- function(M, m, alpha) 1.0 - (m/M)^(alpha-1.0)
### Inverse relative first moment distribution function,  giving
#   what we may call "expectation quantiles":
Er_inv  <-   function(eq, m, alpha) m*exp(log(1.0-eq)/(1-alpha))     

plot(function(M) Er(M, m, alpha), from=1.0,  to=upper)
plot(function(M) ppareto1(M, alpha, m), from=1.0,  to=upper, add=TRUE,  col="red")
dev.off()

który produkuje tę działkę:

Na przykład z tego wykresu można przeczytać, że około 50% udziału w oczekiwaniach pochodzi z obserwacji powyżej około 40. Biorąc pod uwagę, że oczekiwanie tego rozkładu wynosi 6, to jest zdumiewające! (ten rozkład nie ma istniejącej wariancji. W tym celu potrzebujemy ).$\mu$$\alpha > 2$

Zdefiniowana powyżej funkcja Er_inv jest odwrotnym względnym rozkładem pierwszego momentu, analogiem do funkcji kwantylu. Mamy:

> ### What this plot shows very clearly is that most of the contribution to the expectation come from the very extreme right tail!
# Example   
eq  <-  Er_inv(0.5, m, alpha)
ppareto1(eq, alpha, m)
eq

> > > [1] 0.984375
> [1] 32
> 

To pokazuje, że 50% udziału w oczekiwaniach pochodzi z górnej 1,5% ogona rozkładu! Tak więc, szczególnie w małych próbkach, w których istnieje duże prawdopodobieństwo, że skrajny ogon nie jest reprezentowany, średnia arytmetyczna, choć wciąż jest obiektywnym estymatorem oczekiwań , musi mieć bardzo skośny rozkład. Zbadamy to poprzez symulację: Najpierw używamy wielkości próbki .$\mu$$n=5$

set.seed(1234)
n  <-  5
N  <-  10000000  # Number of simulation replicas
means  <-  replicate(N,  mean(rpareto1(n, alpha, m) ))


> mean(means)
[1] 5.846645
> median(means)
[1] 2.658925
> min(means)
[1] 1.014836
> max(means)
[1] 633004.5
length(means[means <=100])
[1] 9970136

Aby uzyskać czytelny wykres, pokazujemy histogram tylko dla części próbki o wartościach poniżej 100, co stanowi bardzo dużą część próbki.

open_png("mean_sim_hist1.png")
hist(means[means<=100],  breaks=100, probability=TRUE)
dev.off()

Rozkład średnich arytmetycznych jest bardzo przekrzywiony,

> sum(means <= 6)/N
[1] 0.8596413
> 

prawie 86% średnich empirycznych jest mniejszych lub równych średniej teoretycznej - oczekiwaniu. Tego należy się spodziewać, ponieważ większość wkładu w średnią pochodzi z ekstremalnego górnego ogona, który nie jest reprezentowany w większości próbek .

Musimy wrócić do ponownej oceny naszych wcześniejszych wniosków. Chociaż istnienie środka umożliwia rozmywanie w zakresie górnych granic, widzimy, że kiedy „środek po prostu ledwo istnieje”, co oznacza, że ​​całka powoli zbieżna, nie możemy być tak rozmyślni w kwestii górnych granic . Powolnie zbieżne całki powodują, że lepiej byłoby zastosować metody, które nie zakładają istnienia oczekiwań . Kiedy całka bardzo powoli zbiega się, dzieje się tak, jakby wcale się nie zbiegała. Praktyczne korzyści wynikające ze zbieżnej całki to chimera w wolno zbieżnym przypadku! To jeden ze sposobów na zrozumienie wniosku NN Taleb w http://fooledbyrandomness.com/complexityAugust-06.pdf

Wariancja jest miarą rozproszenia rozkładu wartości zmiennej losowej. Nie jest to jedyna taka miara, np. Średnie bezwzględne odchylenie jest jedną z alternatyw.

Nieskończona wariancja oznacza, że ​​wartości losowe nie koncentrują się zbytnio wokół średniej . Może to oznaczać, że istnieje wystarczająco duże prawdopodobieństwo, że następna losowa liczba będzie bardzo daleko od średniej.

Rozkłady takie jak Normalny (Gaussa) mogą wytwarzać liczby losowe bardzo daleko od średniej, ale prawdopodobieństwo takich zdarzeń maleje bardzo gwałtownie wraz ze skalą odchylenia.

W związku z tym, gdy spojrzysz na wykres rozkładu Cauchy'ego lub Gaussa (normalny) rozkład, nie wyglądają one bardzo różnie wizualnie. Jeśli jednak spróbujesz obliczyć wariancję rozkładu Cauchy'ego, będzie ona nieskończona, podczas gdy rozkład Gaussa jest skończony. Tak więc rozkład normalny jest ściślejszy wokół jego średniej w porównaniu do rozkładu Cauchy'ego.

Przy okazji, jeśli porozmawiasz z matematykami, będą nalegać, że rozkład Cauchy'ego nie ma dobrze określonego środka, że ​​jest nieskończony. To brzmi absurdalnie dla fizyków, którzy zwracają uwagę na fakt, że Cauchy jest symetryczny, a zatem musi mieć jakiś sens. W takim przypadku twierdzą, że problem dotyczy twojej definicji średniej, a nie rozkładu Cauchyego.

Alternatywnym sposobem patrzenia jest funkcja kwantyli.

$$Q(F(x)) = x$$

Następnie możemy obliczyć moment lub oczekiwanie

$$E(T(x)) = \int_{-\infty}^\infty T(x) f(x) dx\\$$

$f(x)dx = dF$

$$E(T(x)) = \int_{0}^1 T(Q(F)) dF \\$$

$T(x) = x$$x=0$$T(x)<0$$x=0$$\pi$

Krzywe na obrazie pokazują, ile każdy kwantyl bierze udział w obliczeniach.

$T(Q(F))$

Ta nieskończoność może nie być tak dziwna, ponieważ sama całka odległość (średnia) lub odległość kwadratowa (wariancja) mogą stać się nieskończone. To tylko pytanie, ile waży , ile procent F ma te nieskończone ogony.

W sumowaniu / całkowaniu odległości od zera (średnia) lub do kwadratu odległość od średniej (wariancja) pojedynczy punkt, który jest bardzo daleko, będzie miał większy wpływ na średnią odległość (lub odległość do kwadratu) niż wiele punktów w pobliżu.

Kiedy więc zbliżamy się do nieskończoności, gęstość może się zmniejszyć, ale wpływ na sumę pewnej (rosnącej) ilości, np. Odległości lub odległości w kwadracie, niekoniecznie się zmienia.

$x$$\sqrt{2}x$$\sum \frac{1}{2^n}$$\sum ((\sqrt{2}x)^n)^2 \frac{1}{2^n} \to \infty$

$X$

$p(k) = c/|k|^3$$k \in \mathbb{Z} \setminus\{0\}$$p(0) = 0$$c = (2\zeta(3))^{-1} := (2\sum_{k=1}^\infty 1/k^3)^{-1} < \infty$$\mathbb{E} \mid X\mid < \infty$$2 \sum_{k=1}^\infty k^2 / |k|^3 = 2\sum_{k=1}^\infty k^{-1} = \infty$

$\zeta(x) :=\sum_{k=1}^\infty k^{-x}$