Czy średnia zmiennej jednowymiarowej jest zawsze równa całce jej funkcji kwantylowej?

17

Właśnie zauważyłem, że całkowanie funkcji kwantylowej zmiennej losowej jednowymiarowej (odwrotny cdf) od p = 0 do p = 1 daje średnią zmiennej. Do tej pory nie słyszałem o tym związku, więc zastanawiam się: czy tak jest zawsze? Jeśli tak, to czy związek ten jest powszechnie znany?

Oto przykład w pythonie:

from math import sqrt
from scipy.integrate import quad
from scipy.special import erfinv

def normalPdf(x, mu, sigma):
    return 1.0 / sqrt(2.0 * pi * sigma**2.0) * exp(-(x - mu)**2.0 / (2.0 * sigma**2.0))

def normalQf(p, mu, sigma):
    return mu + sigma * sqrt(2.0) * erfinv(2.0 * p - 1.0)

mu = 2.5
sigma = 1.3
quantileIntegral = quad(lambda p: quantile(p,mu,sigma), 0.0, 1.0)[0]
print quantileIntegral # Prints 2.5.
Tyler Streeter
źródło

Odpowiedzi:

26

Niech F będzie CDF zmiennej losowej X , więc odwrotną CDF można zapisać F1 . W całce wykonaj podstawienie p=F(x) , dp=F(x)dx=f(x)dx aby otrzymać

01F1(p)dp=xf(x)dx=EF[X].

Dotyczy to ciągłych dystrybucji. Należy zwrócić uwagę na inne dystrybucje, ponieważ odwrotny CDF nie ma unikalnej definicji.

Edytować

Gdy zmienna nie jest ciągła, nie ma rozkładu, który jest absolutnie ciągły w odniesieniu do miary Lebesgue'a, wymagając staranności przy definiowaniu odwrotnego CDF i staranności w całkach obliczeniowych. Rozważmy na przykład przypadek dystrybucji dyskretnej. Z definicji jest to taki, którego CDF F jest funkcją krokową z krokami wielkości PrF(x) dla każdej możliwej wartości x .

Rycina 1

Ta Figura przedstawia CDF na Bernoulliego rozkład skalowane przez 2 . Oznacza to, że ma zmienną losową prawdopodobieństwo 1 / 3 wyrównywania 0 , a prawdopodobieństwo 2 / 3 wyrównywania 2 . Wysokości skoków przy 0 i 2 podają ich prawdopodobieństwa. Oczekiwanie tej zmiennej wyraźnie równe 0 x ( 1 / 3 ) + 2 x ( 2 / 3 ) = 4(2/3)21/302/3202 .0×(1/3)+2×(2/3)=4/3

Możemy zdefiniować „odwrotny CDF” , wymagającF1

F1(p)=x if F(x)p and F(x)<p.

Oznacza to, że jest również funkcją krokową. Dla każdej możliwej wartości x zmiennej losowej F - 1 osiągnie wartość x w przedziale długości Pr F ( x ) . Dlatego jego całka jest uzyskiwana przez zsumowanie wartości x Pr F ( x ) , co jest tylko oczekiwaniem.F1xF1xPrF(x)xPrF(x)

Rysunek 2

To jest wykres odwrotnego CDF z poprzedniego przykładu. Skoki i 2 / 3 w CDF się poziome linie tych odcinków na wysokości równej 0 i 2 , w których wartości prawdopodobieństwa odpowiadają. (Inverse CDF nie jest określona za przedziału [ 0 , 1 ] ). Jego całka jest sumą dwóch prostokątów, jeden o wysokości 0 i podstawy 1 / 3 , z drugiej wysokości 2 i podstawa 2 / 3 , w wysokości 4 / 3)1/32/302[0,1]01/322/34/3, jak wcześniej.

Ogólnie rzecz biorąc, dla mieszaniny rozkładu ciągłego i dyskretnego musimy zdefiniować odwrotny CDF, aby równolegle tę konstrukcję: przy każdym dyskretnym skoku wysokości musimy utworzyć poziomą linię długości p, jak podano w poprzednim wzorze.pp

Whuber
źródło
popełniłeś błąd przy zmianie zmiennej. skąd pochodzi x?
Mascarpone,
3
@Mascarpone Proszę przeczytać tekst poprzedzający równanie. Nie sądzę, aby wystąpił błąd w zmianie zmiennej :-), ale jeśli uważasz, że to wyjaśni wyjaśnienie, z przyjemnością zaznaczę, że gdy , to x = F - 1 ( p ) . Po prostu nie sądziłem, że to konieczne. p=F(x)x=F1(p)
whuber
teraz mam;),
Mascarpone
+1 Whuber: Dzięki! Czy mógłbyś opracować sposób użycia podanej przez ciebie formuły, jak zadbać o inne dystrybucje, których odwrotny CDF nie ma unikalnej definicji?
StackExchange dla wszystkich 26.11.11 o
1
Aby ominąć takie niespokojne rozważania na temat inwersji, pseudo-inwersji itp., A jednocześnie uogólnić każdą chwilę, zobacz tutaj .
Czy
9

Równoważny wynik jest dobrze znany w analizie przeżycia : oczekiwany czas życia wynosi gdzie funkcja przeżycia wynosi S ( t ) = Pr ( T > t ) mierzona od urodzenia w t = 0 . (Można go łatwo rozszerzyć, aby obejmował ujemne wartości t .)

t=0S(t)dt
S(t)=Pr(T>t)t=0t

enter image description here

Możemy więc przepisać to jako ale jest to1 q = 0 F - 1 ( q )

t=0(1F(t))dt
jak pokazano w różnych odbiciach danego obszaru
q=01F1(q)dq

enter image description here

Henz
źródło
1
Lubię zdjęcia i instynktownie czuję, że czai się tutaj świetny pomysł - uwielbiam ten pomysł - ale nie rozumiem tych konkretnych. Wyjaśnienia byłyby pomocne. Jedną z rzeczy, która mnie powstrzymuje, jest myśl o rozszerzeniu całki do - (1F(t))dt : musi się rozejść.
whuber
@ whuber: Jeśli chcesz rozszerzyć do ujemnego , otrzymasz t . Zauważ, że jeśli zbiega się to dla rozkładu symetrycznego około 0 , tj. F ( t ) = 1 - F ( - t ) , łatwo zauważyć, że oczekiwanie wynosi zero. Biorąc sumę zamiast różnicyt = 0 ( 1 - F ( t ) )t=0(1F(t))dtt=0F(t)dt0F(t)=1F(t) daje średnie bezwzględne odchylenie około 0 . t=0(1F(t))dt+t=0F(t)dt0
Henry
Jeśli lubisz diagramy, być może zainteresuje Cię ten artykuł z 1988 roku autorstwa Lee: Matematyka nadwyżki pokrycia strat i retrospektywna ocena - podejście graficzne .
Avraham,
4

Oceniamy:

enter image description here

Spróbujmy z prostą zmianą zmiennej:

enter image description here

Zauważamy, że z definicji PDF i CDF:

enter image description here

prawie wszędzie. Zatem z definicji mamy wartość oczekiwaną:

enter image description here

Mascarpone
źródło
In the final line I explain more clearly the definition of expected value. The almost everywhere refers to the equation above the last one. en.wikipedia.org/wiki/Almost_everywhere
Mascarpone
1
edited, thanx :)
Mascarpone
3

For any real-valued random variable X with cdf F it is well-known that F1(U) has the same law than X when U is uniform on (0,1). Therefore the expectation of X, whenever it exists, is the same as the expectation of F1(U):

E(X)=E(F1(U))=01F1(u)du.
The representation XF1(U) holds for a general cdf F, taking F1 to be the left-continuous inverse of F in the case when F it is not invertible.
Stéphane Laurent
źródło
1

Note that F(x) is defined as P(Xx) and is a right-continuous function. F1 is defined as

F1(p)=min(x|F(x)p).
The min makes sense because of the right continuity. Let U be a uniform distribution on [0,1]. You can easily verify that F1(U) has the same CDF as X, which is F. This doesn't require X to be continuous. Hence, E(X)=E(F1(U))=01F1(p)dp. The integral is the Riemann–Stieltjes integral. The only assumption we need is the mean of X exists (E|X|<).
WWang
źródło
That's the same answer as mine.
Stéphane Laurent,