Liniowość wariancji

16

Myślę, że następujące dwie formuły są prawdziwe:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ podczas gdy a jest liczbą stałą

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ jeśli

X

$X$ ,

Y

$Y$ są niezależne

Nie jestem jednak pewien, co jest nie tak z poniższymi:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ który nie jest równy

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$ , tj.

4 V a r (X)

$4\mathrm{Var}(X)$ .

Jeśli założymy, że $X$ jest próbką pobraną z populacji, myślę, że zawsze możemy założyć, że $X$ jest niezależny od innych $X$ ów.

Więc co jest nie tak z moim zamieszaniem?

variance linearity fallacy lanselibai
źródło

8

Wariancja nie jest liniowa - twoje pierwsze stwierdzenie to pokazuje (gdyby tak było, miałbyś

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$ . Z drugiej strony kowariancja jest dwuliniowa.

Batman

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

Problem z twoim rozumowaniem jest następujący

„Myślę, że zawsze możemy założyć, że $X$ jest niezależny od innych $X$ ”.

nie jest niezależny od . Symbol odnosi się tutaj do tej samej zmiennej losowej. Gdy poznasz wartość pierwszego pojawiającego się w formule, to również ustala wartość drugiego który się pojawi. Jeśli chcesz, aby odnosiły się do różnych (i potencjalnie niezależnych) zmiennych losowych, musisz oznaczyć je różnymi literami (np. i ) lub za pomocą indeksów dolnych (np. i ); ta ostatnia jest często (ale nie zawsze) używana do oznaczania zmiennych pochodzących z tego samego rozkładu. $X$ $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

Jeśli dwie zmienne i są niezależne wtedy jest taka sama jak : znając wartość nie daje nam żadnych dodatkowych informacji na temat wartości . Ale wynosi jeśli a przeciwnym razie: znając wartość $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ daje pełną informację o wartości . [Prawdopodobieństwa w tym akapicie można zastąpić funkcjami rozkładu skumulowanego lub, w stosownych przypadkach, funkcjami gęstości prawdopodobieństwa, aby uzyskać zasadniczo ten sam efekt.] $X$

Innym sposobem postrzegania rzeczy jest to, że jeśli dwie zmienne są niezależne, wówczas mają zerową korelację (choć zerowa korelacja nie oznacza niezależności !), Ale jest doskonale skorelowane z samym sobą, więc nie może być niezależny o sobie. Zauważ, że ponieważ kowariancja jest podawana przez $X$ $\Corr(X,X)=1$ $X$ , a następnie $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

Bardziej ogólną formułą wariancji sumy dwóch zmiennych losowych jest

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

W szczególności , więc $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

co jest tym samym, co można wywnioskować z zastosowania reguły

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Jeśli interesuje Cię liniowość, możesz być zainteresowany dwuliniowością kowariancji. Dla zmiennych losowych , , i (zależnych lub niezależnych) i stałych , , i mamy $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

i ogólnie

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

Następnie możesz użyć tego do udowodnienia (nieliniowych) wyników dla wariancji, które napisałeś w swoim poście:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

The latter gives, as a special case when $a=b=1$ ,

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

When $X$ and $Y$ are uncorrelated (which includes the case where they are independent), then this reduces to $\Var(X+Y) = \Var(X) + \Var(Y)$ . So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

Silverfish
źródło

1

Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by

Pr (X + X = n)

$\Pr (X+X=n)$ where

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$ , it is technically incorrect if you're considering throwing a

n

$n$ in craps (and

X + X = 2 X

$X+X=2X$ would never yield an odd roll); the event would be properly expressed using

X_{1}, X_{2}

$X_1,X_2$ i.i.d.).

Vandermonde

1

This is in contrast to (and I think my misapprehension might have stemmed from) how 2+PRNG(6)+PRNG(6) often is how you would toss dice as above and/or notation/conventions such as

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$ in which different instances are genuinely intended to be independent.

Vandermonde

@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different

X

$X$ s" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was

2 X

$2X$ " is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.

Silverfish

0

Another way of thinking about it is that with random variables $2X \neq X + X$ .

$2X$ would mean two times the value of the outcome of $X$ , while $X + X$ would mean two trials of $X$ . In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

Benjamin
źródło

+1 This is a perfectly clear and correct answer. Welcome to our site!

whuber

Thanks @whuber!

Benjamin

Liniowość wariancji

Odpowiedzi: