Co sprawia, że ​​znaczenie niektórych dystrybucji jest niezdefiniowane?

21

Wiele plików PDF ma zakres od minus do dodatniej nieskończoności, ale niektóre środki są zdefiniowane, a niektóre nie. Jaka wspólna cecha sprawia, że ​​niektóre są obliczalne?

Kevin Nowaczyk
źródło
14
Całki zbieżne.
Sycorax mówi Przywróć Monikę
1
Te rozkłady są abstrakcjami matematycznymi. Jeśli całka nie jest zbieżna, to wartość średnia nie jest zdefiniowana. Jednak w odpowiedziach poniżej nie wspomniano, że pliki PDF o wartości od nieskończoności do plus nieskończoności nie mogą modelować rzeczywistych źródeł danych. Nie ma takiego fizycznego procesu generowania takich danych w prawdziwym życiu. Moim zdaniem wszystkie prawdziwe źródła danych będą ograniczone i będziesz w stanie oszacować średnią.
Cagdas Ozgenc
3
@Cagdas Ta uwaga wydaje się nieprawidłowa. Istnieje wiele ciężkich procesów. Ich rozbieżne oczekiwania przejawiają się w ekstremalnej zmienności średnich długoterminowych. Na przykład przekonujące zastosowanie modelu Cauchy'ego znajduje się w poście Douglasa Zarea na stats.stackexchange.com/a/36037/919 .
whuber
2
@CagdasOzgenc: Powinieneś przeczytać Black Swan autorstwa Taleba, aby zobaczyć, jak błędne jest to rozumowanie. Chociaż heurystycznie może nie istnieć proces, który idealnie generuje rozkład o nieokreślonej średniej lub nieskończonej średniej, istnieje wiele przykładów, w których ludzie nie doceniają tego, jak gruby jest ich rozkład, i przystępują do obliczania średnich, podczas gdy prawdziwy rozkład ma oznacza to, że jest zupełnie inny i zwykle jest wypaczony. Ten rodzaj niewłaściwego rozumowania doprowadził do wielu błędów oceny ryzyka w finansach, w których ryzyko jest niedoceniane przez wiele rzędów wielkości.
Alex R.
1
@Cagdas Ozgenc: Aby dowiedzieć się, dlaczego twój argument jest błędny, zobacz stats.stackexchange.com/questions/94402/…
kjetil b halvorsen

Odpowiedzi:

23

Średnią rozkładu definiuje się w postaci całki (napiszę to tak, jak w przypadku dystrybucji ciągłej - powiedzmy jako całkę Riemanna - ale problem dotyczy bardziej ogólnie; możemy przejść do integracji Stieltjes lub Lebesgue, aby poradzić sobie z te poprawnie i wszystkie jednocześnie):

E(X)=xf(x)dx

Ale co to znaczy? Jest to faktycznie skrót dla

a,blimabxf(x)dx

lub

alima0xf(x)dx+blim0bxf(x)dx

(chociaż możesz to zepsuć gdziekolwiek, nie tylko na 0)

Problem pojawia się, gdy granice tych całek nie są skończone.

Rozważmy na przykład standardową gęstość Cauchy'ego, która jest proporcjonalna do ... zwróć uwagę11+x2

blim0bx1+x2dx

niech , więc d u = 2 xu=1+x2du=2xdx

=blim1211+b21udu

=blim12ln(u)|11+b2

=blim12ln(1+b2)

co nie jest skończone. Limit w dolnej połowie również nie jest skończony; oczekiwanie jest tym samym niezdefiniowane.

Lub gdybyśmy mieli jako zmienną losową wartość bezwzględną standardowego Cauchy'ego, jej całe oczekiwanie byłoby proporcjonalne do tego limitu, na który właśnie patrzyliśmy (tj. ).blim12ln(1+b2)

Z drugiej strony, niektóre inne gęstości nadal przechodzą „do nieskończoności”, ale ich całka ma granicę.

Glen_b - Przywróć Monikę
źródło
1
Możesz (oczywiście) zobaczyć to samo w podobnych dyskretnych rozkładach prawdopodobieństwa. Weź rozkład, w którym prawdopodobieństwo wystąpienia , dla liczby całkowitej n > 0 , jest proporcjonalne do 1nn>0 . Suma prawdopodobieństw jest skończona (co jest równie dobre, ponieważ musi mieć limit 1: w rzeczywistości nasza stała musi wynosić61n2 lub cokolwiek to jest), ale od sumy16π2 odbiega ona ma nie lada. Natomiast jeśli wybierzemy prawdopodobieństwo proporcjonalne do11n wówczas średnia obejmuje sumę11n3 i nic nam nie jest, to „wystarczająco małe”, żeby się zbiegało. 1n2
Steve Jessop,
1
Tak, jest dla tego stałą skalowania (aby suma była równa 1). 6π2
Glen_b
8

Inne odpowiedzi są dobre, ale mogą nie przekonać wszystkich, zwłaszcza ludzi, którzy spojrzą na rozkład Cauchy'ego ( ) i powiedzą, że intuicyjnie oczywiste jest, że średnia powinna wynosić zero.x0=0

Przyczyna, dla której intuicyjna odpowiedź jest niepoprawna z matematycznego punktu widzenia, wynika z twierdzenia o rearanżacji Riemanna (wideo) .

W rzeczywistości to, co robisz, gdy patrzysz na Cauchy'ego i mówisz, że średnia „powinna wynosić zero”, polega na tym, że dzielisz „środek” na zero, a następnie żądasz momentu równowagi dwóch rozmiarów. Innymi słowy, domyślnie robisz nieskończoną sumę z „połową” wyrażeń dodatnich (chwile w każdym punkcie po prawej) i „połową” wyrażeń ujemnych (chwile w każdym punkcie po lewej) i żądasz tego sumuje się do zera. (Dla technicznie myślących: )0f(x0+r)rdr0f(x0r)rdr=0

Twierdzenie o przegrupowaniu Riemanna mówi, że ten rodzaj nieskończonej sumy (jedna z dodatnimi i ujemnymi warunkami) jest spójna tylko wtedy, gdy obie dwie serie (tylko dodatnie i ujemne) są zbieżne, jeśli zostaną wzięte niezależnie. Jeśli obie strony (dodatnia i ujemna) są rozbieżne same w sobie, możesz wymyślić kolejność sumowania warunków, tak aby sumowała się do dowolnej liczby. (Film powyżej, od 6:50)

Tak więc, jeśli wykonasz sumowanie w sposób zrównoważony od zera, pierwsze chwile z rozkładu Cauchy'ego zostaną anulowane. Jednak (standardowa) definicja średniej nie wymusza takiej kolejności sumowania. Powinieneś być w stanie podsumować chwile w dowolnej kolejności i sprawić, by były one jednakowo ważne. Dlatego średnia rozkład Cauchy'ego jest niezdefiniowany - przez rozsądny wybór sposobu sumowania momentów, możesz sprawić, by były „zrównoważone” (lub nie) praktycznie w dowolnym momencie.

Tak więc, aby zdefiniować średnią rozkładu, każda z dwóch momentów musi być niezależnie zbieżna (skończona) wokół proponowanej średniej (która, gdy wykonujesz matematykę, jest tak naprawdę innym sposobem na powiedzenie, że pełna całka ( ) musi być zbieżny). Jeśli ogony są na tyle „grube”, że chwila jednej strony jest nieskończona, to koniec. Nie możesz zrównoważyć go nieskończonym momentem po drugiej stronie.f(x)xdx


Powinienem wspomnieć, że „sprzeczne z intuicją” zachowanie takich rzeczy jak rozkład Cauchy'ego jest całkowicie spowodowane problemami w myśleniu o nieskończoności. Weź rozkład Cauchy'ego i odetnij ogony - nawet arbitralnie daleko, jak na plus / minus liczba xkcd - i (po ponownej normalizacji) nagle dostajesz coś, co jest dobrze wychowane i ma określoną wartość średnią. Problemem nie są same grube ogony, ale to, jak zachowują się te ogony, gdy zbliżasz się do nieskończoności.

RM
źródło
Miły. Zastanawiam się, czy możliwe jest podanie dokładnego „porządku sumowania”, który prowadzi, powiedzmy, do dwóch.
Matthew Drury,
@MatthewDrury: p_i n_i oznaczają liczby dodatnie i ujemne. Znajdź kolejno p_i i n_i, aby całka nad [n_i, p_i] wynosiła 2+ (1 / i), a całka nad [n_ {i + 1}, p_i] wynosi 2- (1 / i). Można to zrobić jawnie, używając R, matlaba lub matematyki, ale tylko dla skończonej liczby terminów.
David Epstein,
7

General Abrial i Glen_b mieli doskonałe odpowiedzi. Chcę tylko dodać małe demo, aby pokazać, że średnia dystrybucja Cauchy'ego nie istnieje / nie jest zbieżna.

W kolejnym eksperymencie zobaczysz, że nawet otrzymasz dużą próbkę i obliczysz średnią empiryczną z próbki, liczby są zupełnie różne w zależności od eksperymentu.

set.seed(0)
par(mfrow=c(1,2))
experiments=rep(1e5,100)
mean_list_cauchy=sapply(experiments, function(n) mean(rcauchy(n)))
mean_list_normal=sapply(experiments, function(n) mean(rnorm(n)))
plot(mean_list_cauchy,ylim=c(-10,10))
plot(mean_list_normal,ylim=c(-10,10))

enter image description here

Można zaobserwować, że mamy eksperymentów, w każdym doświadczeniu, możemy spróbować 1 x 10 5 punktów z dwóch rozkładów, z tak dużym rozmiarze próbki, średnia empiryczna w różnych eksperymentach powinno być dość blisko do prawdziwej średniej. Wyniki pokazują, że rozkład Cauchy'ego nie ma średniej zbieżnej, ale rozkład normalny ma.1001×105

EDYTOWAĆ:

Jak wspomniano na czacie @ mark999, powinniśmy argumentować, że dwie dystrybucje użyte w eksperymencie mają podobną „wariancję” (powód, dla którego używam cytatu, ponieważ zmienność dystrybucji Cauchy'ego jest również nieokreślona). Oto uzasadnienie: ich pliki PDF są podobne.

0

curve(dnorm, -8,8)
curve(dcauchy, -8,8)

enter image description here

Haitao Du
źródło
4
Nie sądzę, że to pokazuje, że rozkład Cauchy'ego nie ma znaczenia. Podobne wyniki można uzyskać, zastępując rozkład Cauchy'ego rozkładem normalnym o odpowiednio dużej wariancji.
mark999
dobry punkt @ mark999, zmienię odpowiedź, aby rozwiązać ten problem.
Haitao Du
Czy z pliku PDF dystrybucji Cauchy'ego można dowiedzieć się, że nie ma to znaczenia, prawdopodobnie patrząc na jego tłuste ogony?
ks1322
Być może miałeś na myśli coś takiego? stats.stackexchange.com/questions/90531/…
Sycorax mówi Przywróć Monikę
2

dθ/2πθAS1length(A)/2π. This is different from the uniform distribution U(π,π), though measures are indeed the same for arcs not containing π. For example, on the arc from πε counter-clockwise to π+ε (=π+εmod2π), the mean of the distribution on the circle is π. But the mean of the uniform distribution U(π,π) on the corresponding union of two disjoint intervals, each of length ε/2π, is zero.

Since the distribution on the circle is rotationally symmetric, there cannot be a mean, median or mode on the circle. Similarly, higher moments, such as variance, cannot make sense. This distribution arises naturally in many contexts. For example, my current project involves microscope images of cancerous tissue. The very numerous objects in the image are not symmetric and a "direction" can be assigned to each. The obvious null hypothesis is that these directions are uniformly distributed.

To disguise the simplicity, let S1 be the standard unit circle, and let p=(0,1)S1. We define x as a function of θ by stereographical projection of the circle from p onto the x-axis. The formula is x=tan(θ/2). Differentiating, we find dθ/2=dx/(1+x2). The infinitesimal probability is therefore dθπ(1+x2), the usual form of the Cauchy distribution, and "Hey, presto!", simplicity becomes a headache, requiring treatment by the subtleties of integration theory.

In S1{p}, we can ignore the absence of p (in other words, reinstate pS1) for any consideration such as mean or higher order moment, because the probability of p (its measure) is zero. So therefore the non-existence of mean and of higher moments carries over to the real line. However, there is now a special point, namely p=(0,1), which maps to 0R under stereographic projection and this becomes the median and mode of the Cauchy distribution.

David Epstein
źródło
2
The Cauchy distribution has a median and mode.
jkabrg
quite right. I got a bit carried away. But the argument for the non-existence of the mean is correct.. I will edit my answer.
David Epstein
Why is it that "there cannot be a mean because there isn't one on the circle"? There's a lot missing in your argument. I'm assuming what you mean by it being the uniform distribution "on the circle" is that θU(π,π) and X=tan(θ/2), but then E[θ]=0 so I don't understand what you're talking about.
jkabrg
@jkabrg: Mam nadzieję, że nowe zmiany sprawią, że będzie to bardziej zrozumiałe
David Epstein