Liniowość wariancji

16

Myślę, że następujące dwie formuły są prawdziwe:

Var(aX)=a2Var(X)
podczas gdy a jest liczbą stałą
Var(X+Y)=Var(X)+Var(Y)
jeśliX ,Y są niezależne

Nie jestem jednak pewien, co jest nie tak z poniższymi:

Var(2X)=Var(X+X)=Var(X)+Var(X)
który nie jest równy22Var(X) , tj.4Var(X) .

Jeśli założymy, że X jest próbką pobraną z populacji, myślę, że zawsze możemy założyć, że X jest niezależny od innych X ów.

Więc co jest nie tak z moim zamieszaniem?

lanselibai
źródło
8
Wariancja nie jest liniowa - twoje pierwsze stwierdzenie to pokazuje (gdyby tak było, miałbyś Var(aX)=aVar(X) . Z drugiej strony kowariancja jest dwuliniowa.
Batman

Odpowiedzi:

33

Problem z twoim rozumowaniem jest następujący

„Myślę, że zawsze możemy założyć, że X jest niezależny od innych X ”.

nie jest niezależny od X . Symbol X odnosi się tutaj do tej samej zmiennej losowej. Gdy poznasz wartość pierwszego X pojawiającego się w formule, to również ustala wartość drugiego X, który się pojawi. Jeśli chcesz, aby odnosiły się do różnych (i potencjalnie niezależnych) zmiennych losowych, musisz oznaczyć je różnymi literami (np. X i Y ) lub za pomocą indeksów dolnych (np. X 1 i X 2 ); ta ostatnia jest często (ale nie zawsze) używana do oznaczania zmiennych pochodzących z tego samego rozkładu.XXXXXXYX1X2

Jeśli dwie zmienne i Y są niezależne wtedy Pr ( X = | Y = b ) jest taka sama jak Pr ( X = ) : znając wartość Y nie daje nam żadnych dodatkowych informacji na temat wartości X . Ale Pr ( X = a | X = b ) wynosi 1, jeśli a = b, a 0 w przeciwnym razie: znając wartość XXYPr(X=a|Y=b)Pr(X=a)YXPr(X=a|X=b)1a=b0Xdaje pełną informację o wartości . [Prawdopodobieństwa w tym akapicie można zastąpić funkcjami rozkładu skumulowanego lub, w stosownych przypadkach, funkcjami gęstości prawdopodobieństwa, aby uzyskać zasadniczo ten sam efekt.]X

Innym sposobem postrzegania rzeczy jest to, że jeśli dwie zmienne są niezależne, wówczas mają zerową korelację (choć zerowa korelacja nie oznacza niezależności !), Ale jest doskonale skorelowane z samym sobą, Corr ( X , X ) = 1, więc X nie może być niezależny o sobie. Zauważ, że ponieważ kowariancja jest podawana przez Cov ( X , Y ) = Corr ( X , Y ) XCorr(X,X)=1X , a następnieCov(X,X)=1Cov(X,Y)=Corr(X,Y)Var(X)Var(Y)

Cov(X,X)=1Var(X)2=Var(X)

Bardziej ogólną formułą wariancji sumy dwóch zmiennych losowych jest

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

W szczególności , więcCov(X,X)=Var(X)

Var(X+X)=Var(X)+Var(X)+2Var(X)=4Var(X)

co jest tym samym, co można wywnioskować z zastosowania reguły

Var(aX)=a2Var(X)Var(2X)=4Var(X)

Jeśli interesuje Cię liniowość, możesz być zainteresowany dwuliniowością kowariancji. Dla zmiennych losowych , X , Y i Z (zależnych lub niezależnych) i stałych a , b , c i d mamyWXYZabcd

Cov(aW+bX,Y)=aCov(W,Y)+bCov(X,Y)

Cov(X,cY+dZ)=cCov(X,Y)+dCov(X,Z)

i ogólnie

Cov(aW+bX,cY+dZ)=acCov(W,Y)+adCov(W,Z)+bcCov(X,Y)+bdCov(X,Z)

Następnie możesz użyć tego do udowodnienia (nieliniowych) wyników dla wariancji, które napisałeś w swoim poście:

Var(aX)=Cov(aX,aX)=a2Cov(X,X)=a2Var(X)

Var(aX+bY)=Cov(aX+bY,aX+bY)=a2Cov(X,X)+abCov(X,Y)+baCov(X,Y)+b2Cov(Y,Y)Var(aX+bY)=a2Var(X)+b2Var(Y)+2abCov(X,Y)

The latter gives, as a special case when a=b=1,

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

When X and Y are uncorrelated (which includes the case where they are independent), then this reduces to Var(X+Y)=Var(X)+Var(Y). So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

Silverfish
źródło
1
Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by Pr(X+X=n) where XUniform(1..6), it is technically incorrect if you're considering throwing a n in craps (and X+X=2X would never yield an odd roll); the event would be properly expressed using X1,X2 i.i.d.).
Vandermonde
1
This is in contrast to (and I think my misapprehension might have stemmed from) how 2+PRNG(6)+PRNG(6) often is how you would toss dice as above and/or notation/conventions such as 2d6=d6+d6 in which different instances are genuinely intended to be independent.
Vandermonde
@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different Xs" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was 2X" is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.
Silverfish
0

Another way of thinking about it is that with random variables 2XX+X.

2X would mean two times the value of the outcome of X, while X+X would mean two trials of X. In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

Benjamin
źródło
+1 This is a perfectly clear and correct answer. Welcome to our site!
whuber
Thanks @whuber!
Benjamin