Oczekiwana wartość mediany próbki na podstawie średniej próbki

16

Niech oznacza medianę i niech oznacza średnią losowej próbki o wielkości z rozkładu, który jest . Jak obliczyć E (Y | \ bar {X} = \ bar {x}) ?YYˉXX¯n=2k+1n=2k+1N(μ,σ2)N(μ,σ2)E(Y|ˉX=ˉx)E(Y|X¯=x¯)

Intuicyjnie, ze względu na założenie normalności, sensowne jest twierdzenie, że E(Y|ˉX=ˉx)=ˉxE(Y|X¯=x¯)=x¯ i rzeczywiście jest to poprawna odpowiedź. Czy można to jednak rygorystycznie wykazać?

Początkowo myślałem o podejściu do tego problemu przy użyciu warunkowego rozkładu normalnego, który jest ogólnie znanym rezultatem. Problem polega na tym, że ponieważ nie znam wartości oczekiwanej, a co za tym idzie wariancji mediany, musiałbym obliczyć te przy użyciu statystyki k+1k+1 rzędu. Ale to jest bardzo skomplikowane i wolałbym tam nie iść, chyba że absolutnie muszę.

JohnK
źródło
2
Uważam, że jest to bezpośrednia konsekwencja uogólnienia, które właśnie opublikowałem na stronie stats.stackexchange.com/a/83887 . Rozkład reszt jest wyraźnie symetryczny około , skąd ich mediana ma rozkład symetryczny, a zatem jego średnia wynosi zero. Zatem oczekiwanie samej mediany (nie tylko reszt) wynosi , QED. xiˉxxix¯000+E(ˉX | ˉX=ˉx)=ˉx0+E(X¯ | X¯=x¯)=x¯
whuber
@whuber Przepraszamy, resztki?
JohnK
Zdefiniowałem je w moim komentarzu: są to różnice między każdym a ich średnią. xixi
whuber
@ whuber Nie, rozumiem, ale wciąż pracuję nad zrozumieniem, w jaki sposób twoja druga odpowiedź odnosi się do mojego pytania i jak dokładnie działa oczekiwane przez ciebie oczekiwanie.
JohnK
2
@ whuber Okay, więc proszę mnie poprawić Jeśli się mylę, E ( Y | ˉ X ) = E ( ˉ X | ˉ X ) + E ( Y - ˉ X | ˉ X )E(Y|X¯)=E(X¯|X¯)+E(YX¯|X¯) A teraz drugi termin to zero, ponieważ mediana jest symetryczna wokół ˉ xx¯ . Dlatego oczekiwanie zmniejsza się do ˉ xx¯
JohnK

Odpowiedzi:

7

Niech XX oznaczają oryginalnej próbki i Z.Z losowy wektor z wpisami Z k = X k - ° XZk=XkX¯ . Wówczas ZZ jest normalnie wyśrodkowany (ale jego wpisy nie są niezależne, jak widać z faktu, że ich suma wynosi zero z pełnym prawdopodobieństwem). Jako liniowe funkcyjną XX , z wektorem ( Z , ˉ X )(Z,X¯) jest normalne stąd wystarczy obliczenie jego macierzy kowariancji pokazać, że ZZ jest niezależnie od °° XX¯ .

Przechodząc do YY , widać, że Y = ˉ X + TY=X¯+T , gdzie TT jest mediana ZZ . W szczególności, TT zależy tylko od Z,Z stąd TT jest niezależny od ˉ XX¯ , a rozkład ZZ jest symetryczny, a zatem TT jest wyśrodkowany.

Wreszcie, E ( Y | ˉ X ) = ˉ X + e ( T | ˉ X ) = ˉ X + e ( t ) = ˉ X .

E(YX¯)=X¯+E(TX¯)=X¯+E(T)=X¯.
Zrobił
źródło
Dziękuję, pytano o to prawie rok temu i bardzo się cieszę, że ktoś w końcu to wyjaśnił.
JohnK
7

Mediana próbki jest statystyką rzędu i ma rozkład nienormalny, więc łączny rozkład próby skończonej próbki mediany próbki i średniej próbki (która ma rozkład normalny) nie byłby dwuwymiarowy normalny. Odwołując się do przybliżeń, asymptotycznie następujące twierdzenia (patrz moja odpowiedź tutaj ):

n [ ( ˉ X n Y n ) - ( μ v ) ] LN [ ( 0 0 ) , Σ ]

n[(X¯nYn)(μv)]LN[(00),Σ]

z

Σ = ( σ 2 E ( | X - v | ) [ 2 f ( v ) ] - 1 E ( | X - v | ) [ 2 f ( v ) ] - 1 [ 2 f ( v ) ] - 2 )

Σ=(σ2E(|Xv|)[2f(v)]1E(|Xv|)[2f(v)]1[2f(v)]2)

gdzie ˉ X n jest średnią próbki, a μ średnią populacji, Y n jest medianą próby v v mediana populacji, f ( ) jest gęstością prawdopodobieństwa zaangażowanych zmiennych losowych, a σ 2 jest wariancją. X¯nμYnvf()σ2

Tak więc w przybliżeniu dla dużych próbek ich wspólny rozkład jest dwuwymiarowy normalny, więc mamy to

E ( Y nˉ X n = ˉ x ) = v + ρ σ vσ ˉ X ( ˉ x -μ)

E(YnX¯n=x¯)=v+ρσvσX¯(x¯μ)

gdzie ρ jest współczynnikiem korelacji.ρ

Manipulując rozkładem asymptotycznym, aby stać się przybliżonym rozkładem łącznej dużej próbki dla średniej próbki i mediany próbki (a nie standardowych wielkości), mamy ρ = 1n E(|X-v|)[2f(v)]-11n σ[2f(v)]-1=E(|X-v|)σ

ρ=1nE(|Xv|)[2f(v)]11nσ[2f(v)]1=E(|Xv|)σ

So E(YnˉXn=ˉx)=v+E(|Xv|)σ[2f(v)]1σ(ˉxμ)

E(YnX¯n=x¯)=v+E(|Xv|)σ[2f(v)]1σ(x¯μ)

We have that 2f(v)=2/σ2π2f(v)=2/σ2π due to the symmetry of the normal density so we arrive at

E(YnˉXn=ˉx)=v+π2E(|Xμσ|)(ˉxμ)

E(YnX¯n=x¯)=v+π2E(Xμσ)(x¯μ)

where we have used v=μv=μ. Now the standardized variable is a standard normal, so its absolute value is a half-normal distribution with expected value equal to 2/π2/π (since the underlying variance is unity). So

E(YnˉXn=ˉx)=v+π22π(ˉxμ)=v+ˉxμ=ˉx

E(YnX¯n=x¯)=v+π22π(x¯μ)=v+x¯μ=x¯
Alecos Papadopoulos
źródło
2
As always, nice answer +1. However, since we have no information about the sample size, the asymptotic distribution might not hold. If there is no way to obtain the exact distribution though, I suppose I'll have to make do. Thank you very much.
JohnK
6

The answer is ˉxx¯.

Let x=(x1,x2,,xn)x=(x1,x2,,xn) have a multivariate distribution FF for which all the marginals are symmetric about a common value μμ. (It does not matter whether they are independent or even are identically distributed.) Define ˉxx¯ to be the arithmetic mean of the xi,xi, ˉx=(x1+x2++xn)/nx¯=(x1+x2++xn)/n and write xˉx=(x1ˉx,x2ˉx,,xnˉx)xx¯=(x1x¯,x2x¯,,xnx¯) for the vector of residuals. The symmetry assumption on FF implies the distribution of xˉxxx¯ is symmetric about 00; that is, when ERnERn is any event,

PrF(xˉxE)=PrF(xˉxE).

PrF(xx¯E)=PrF(xx¯E).

Applying the generalized result at /stats//a/83887 shows that the median of xˉxxx¯ has a symmetric distribution about 00. Assuming its expectation exists (which is certainly the case when the marginal distributions of the xixi are Normal), that expectation has to be 00 (because the symmetry implies it equals its own negative).

Now since subtracting the same value ˉxx¯ from each of a set of values does not change their order, YY (the median of the xixi) equals ˉxx¯ plus the median of xˉxxx¯. Consequently its expectation conditional on ˉxx¯ equals the expectation of xˉxxx¯ conditional on ˉxx¯, plus E(ˉx | ˉx)E(x¯ | x¯). The latter obviously is ˉxx¯ whereas the former is 00 because the unconditional expectation is 00. Their sum is ˉx,x¯, QED.

whuber
źródło
Thank you for posting it as a full answer. I now understand the essence of your argument but I might ping you if something is still unclear.
JohnK
5
JohnK, I need to alert you to be cautious. A counterexample to this argument has been brought to my attention. I have encouraged its originator to post it here for further discussion, but briefly it concerns a discrete bivariate distribution with symmetric marginals but asymmetric conditional marginals. Its existence points to a flawed deduction early in my argument. I currently hope that the argument might be rescued by imposing stronger conditions on the xixi, but my attention is presently focused elsewhere and I might not get to think about this for awhile.
whuber
4
In the meantime I would encourage you to unaccept this answer. I would ordinarily delete any answer of mine known to be incorrect, but (as you might be able to tell) I like solutions based on first principles rather than detailed calculations, so I hope this argument can be rescued. I therefore intend to leave it open for criticism and improvement (and therefore made it CW); let the votes fall as they may.
whuber
Of course, thanks for letting me know. We will discuss it further when you have time. In the meantime I will settle for the asymptotic argument proposed by @Alecos Papadopoulos.
JohnK
6

This is simpler than the above answers make it. The sample mean is a complete and sufficient statistic (when the variance is known, but our results do not depend on the variance, hence will be valid also in the situation when the variance is unknown). Then the Rao-Blackwell together with the Lehmann-Scheffe theorems (see wikipedia ...) will imply that the conditional expectation of the median, given the arithmetic mean, is the unique minimum variance unbiased estimator of the expectation μ. But we know that is the arithmetic mean, hence the result follows.

We did also use that the median is an unbiased estimator, which follows from symmetry.

kjetil b halvorsen
źródło
1
By symmetry E[Y]=μ, indeed. Then from these two theorems we know that E[Y|ˉX] is the Unique Minimum Variance Unbiased Estimator for μ which we already know to be equal to ˉX. This is a brilliant answer, thank you very much. I would have marked it as the correct one, had I not done that already for another answer.
JohnK