Jeśli są IID, to oblicz , gdzie

14

Pytanie

Jeśli są IID, to oblicz , gdzie .X1,,XnN(μ,1)X1,,XnN(μ,1)E(X1T)E(X1T)T=iXiT=iXi


Próba : Sprawdź, czy poniższe informacje są prawidłowe.

Powiedzmy, że bierzemy sumę tych warunkowych oczekiwań, tak, że: iE(XiT)=E(iXiT)=T.

iE(XiT)=E(iXiT)=T.
Oznacza to, że każdy E(XiT)=TnE(XiT)=Tn od X1,,XnX1,,Xn są IID.

Zatem E(X1T)=TnE(X1T)=Tn . Czy to jest poprawne?

uczenie się
źródło
2
W s”nie są iid uwarunkowane , ale mają wymiennej wspólną dystrybucję. To implikuje, że wszystkie ich warunkowe oczekiwania są równe (do ). XiXiTTT/nT/n
Jarle Tufto,
@JarleTufto: Co rozumiesz przez „wymienną wspólną dystrybucję”? Wspólna dystrybucja i ? XiXiTT
nauka
2
Oznacza to, że wspólny rozkład jest taki sam, jak (i wszystkie inne permutacje). Zobacz en.wikipedia.org/wiki/Exchangeable_random_variables . Lub zobacz odpowiedź @ whuber! X1,X2,X3X1,X2,X3X2,X3,X1X2,X3,X1
Jarle Tufto,
2
W szczególności odpowiedź jest niezależna od dystrybucji . X1,,XnX1,,Xn
StubbornAtom

Odpowiedzi:

11

Pomysł jest słuszny - ale trzeba go wyrazić nieco bardziej rygorystycznie. Dlatego skupię się na notacji i odsłonięciu istoty pomysłu.


Zacznijmy od idei wymienności:

Zmienna losowa jest wymienna, gdy rozkłady zmiennych permutowanych są takie same dla każdej możliwej permutacji .X=(X1,X2,,Xn)X=(X1,X2,,Xn)Xσ=(Xσ(1),Xσ(2),,Xσ(n))Xσ=(Xσ(1),Xσ(2),,Xσ(n))σσ

Wyraźnie oznacza to, że można je wymieniać.

W ramach notacji napisz dla komponentu w i pozwólXσi=Xσ(i)Xσi=Xσ(i)ithithXσXσTσ=ni=1Xσi=ni=1Xi=T.

Tσ=i=1nXσi=i=1nXi=T.

Niech będzie dowolnym indeksem i niech będzie dowolną permutacją indeksów, które wysyłają do (Taki istnieje, ponieważ zawsze można po prostu zamienić i ) Wymienność implikujejjσσ11j=σ(1).j=σ(1).σσ11j.j.XX

E[X1T]=E[Xσ1Tσ]=E[XjT],

E[X1T]=E[Xσ1Tσ]=E[XjT],

ponieważ (w pierwszej nierówności) po prostu zastąpiliśmy identycznie rozmieszczonym wektoremTo jest sedno sprawy.XXXσ.Xσ.

w konsekwencji

T=E[TT]=E[ni=1XiT]=ni=1E[XiT]=ni=1E[X1T]=nE[X1T],

T=E[TT]=E[i=1nXiT]=i=1nE[XiT]=i=1nE[X1T]=nE[X1T],

skąd

E[X1T]=1nT.

E[X1T]=1nT.

Whuber
źródło
4

To nie jest dowód (i +1 do odpowiedzi @ whubera), ale jest to geometryczny sposób na zbudowanie intuicji, dlaczego jest rozsądna odpowiedź.E(X1|T)=T/nE(X1|T)=T/n

Niech i więc . Uwzględniamy wtedy zdarzenie, że dla jakiegoś , więc to jest jak rysowanie wielowymiarowych Gaussianów obsługiwanych na ale patrząc tylko na te, które kończą w afinii spacja . Następnie chcemy poznać średnią współrzędnych punktów, które lądują w tej afinicznej przestrzeni (nie wspominając, że jest to podzbiór miary zero).X=(X1,,Xn)TX=(X1,,Xn)T1=(1,,1)T1=(1,,1)TT=1TXT=1TX1TX=t1TX=ttRtRRnRn{xRn:1Tx=t}{xRn:1Tx=t}x1x1

Znamy więc mamy sferyczny gaussian ze stałym średnim wektorem, a średni wektor jest na tej samej linii, co normalny wektor hiperpłaszczyzny .XN(μ1,I)

XN(μ1,I)
μ1μ1xT1=0xT1=0

To daje nam sytuację jak na poniższym obrazku: wprowadź opis zdjęcia tutaj

Kluczowa idea: najpierw wyobraź sobie gęstość w podprzestrzeni afinicznej . Gęstość jest symetryczna wokół ponieważ . Gęstość będzie również symetryczna w jak jest symetryczny w tym samym wierszu, a punkt, wokół której jest symetryczny jest przecięciem linii i . Dzieje się tak dla .Ht:={x:xT1=t}Ht:={x:xT1=t}XXx1=x2x1=x2E(X)span 1E(X)span 1HtHtHtHtx1+x2=tx1+x2=tx1=x2x1=x2x=(t/2,t/2)x=(t/2,t/2)

Aby wyobrazić sobie , możemy sobie wyobrazić próbkowanie w kółko, a następnie, gdy otrzymamy punkt w , bierzemy tylko współrzędną i zapisujemy to. Z symetrii gęstości na również rozkład współrzędnych będzie symetryczny i będzie miał ten sam punkt środkowy . Średnia rozkładu symetrycznego jest centralnym punktem symetrii, co oznacza, że , i że ponieważ i można wykasować bez wpływu byle co.E(X1|T)E(X1|T)HtHtx1x1HtHtx1x1t/2t/2E(X1|T)=T/2E(X1|T)=T/2E(X1|T)=E(X2|T)E(X1|T)=E(X2|T)X1X1X2X2

W wyższych wymiarach staje się to trudne (lub niemożliwe) do dokładnej wizualizacji, ale ten sam pomysł ma zastosowanie: mamy sferyczny gaussowski ze średnią w zakresie , i patrzymy na afiniczną podprzestrzeń, która jest do niej prostopadła . Punktem równowagi rozkładu w podprzestrzeni będzie nadal przecięcie i o wartości , a gęstość jest nadal symetryczna, więc ten punkt równowagi jest znowu średnią.11span 1span 1{x:xT1=t}{x:xT1=t}x=(t/n,,t/n)x=(t/n,,t/n)

Ponownie, to nie jest dowód, ale myślę, że daje to dobre wyobrażenie o tym, dlaczego można oczekiwać tego zachowania.


Poza tym, jak zauważyli niektórzy tacy jak @StubbornAtom, tak naprawdę nie wymaga to, aby był gaussowski. W 2D zaznacz, że jeśli jest wymienny, to (bardziej ogólnie, ), więc musi być symetryczne wzdłuż linii . Mamy też więc wszystko, co powiedziałem o „kluczowym pomyśle” na pierwszym zdjęciu, nadal jest aktualne. Oto przykład, w którym pochodzą z modelu mieszanki Gaussa. Wszystkie linie mają takie samo znaczenie jak poprzednio.XXXXf(x1,x2)=f(x2,x1)f(x1,x2)=f(x2,x1)f(x)=f(xσ)f(x)=f(xσ)ffx1=x2x1=x2E(X)span 1E(X)span 1XiXi

wprowadź opis zdjęcia tutaj

jld
źródło
1

Myślę, że twoja odpowiedź jest prawidłowa, chociaż nie jestem do końca pewny co do linii zabójców w twoim dowodzie, że jest to prawdą „ponieważ są tam”. Bardziej niewygodny sposób na to samo rozwiązanie jest następujący:

Zastanów się, co tak naprawdę oznacza . Wiesz, że masz próbkę z odczytami N i że ich średnia to T. To tak naprawdę oznacza, że ​​teraz podstawowy rozkład, z którego pobrano próbki, nie ma już znaczenia (zauważysz, że w żadnym momencie nie użyłeś faktu, że był próbka z Gaussa w twoim dowodzie).E(xi|T)E(xi|T)

E(xi|T)E(xi|T) jest odpowiedzią na pytanie, jeśli próbkowałeś z próbki, wielokrotnie zastępując, jaka byłaby średnia uzyskana. Jest to suma wszystkich możliwych wartości, pomnożona przez ich prawdopodobieństwo lub co jest równe T.Ni=11NxiNi=11Nxi

gazza89
źródło
1
Należy zauważyć, że nie może być iid, ponieważ są one ograniczone do sumują się do . Jeśli znasz z nich, znasz też . xi|Txi|TTTn1n1nthnth
jbowman
tak, ale zrobiłem coś bardziej subtelnego. Powiedziałem, że jeśli próbkowałeś wiele razy z wymianą, każda próbka byłaby próbką z dyskretnego rozkładu.
gazza89
Przepraszam! Umieścił komentarz niewłaściwie, powinien był być w PO. Oznaczało to w odniesieniu do stwierdzenia „Oznacza to, że każdy od są IID.” E(XiT)=TnX1,,Xn
jbowman