Czy kowariancja równa zero oznacza niezależność binarnych zmiennych losowych?

14

Jeśli XX i YY są dwiema losowymi zmiennymi, które mogą przyjmować tylko dwa możliwe stany, jak mogę pokazać, że C o v ( X , Y ) = 0Cov(X,Y)=0 oznacza niezależność? Ten rodzaj jest sprzeczny z tym, czego nauczyłem się w tym dniu, że C o v ( X , Y ) = 0Cov(X,Y)=0 nie oznacza niezależności ...

Wskazówka mówi, aby zacząć od 11 i 00 jako możliwe stany i od tego generalizować. I mogę to zrobić i pokazać E ( X Y ) = E ( X ) E ( Y )E(XY)=E(X)E(Y) , ale to nie oznacza niezależności ???

Chyba trochę zmieszany, jak to zrobić matematycznie.

użytkownik3604869
źródło
Zasadniczo nie jest to prawdą, jak sugeruje nagłówek pytania…
Michael R. Chernick
5
Stwierdzenie, które próbujesz udowodnić, jest rzeczywiście prawdziwe. Jeśli XX i YY są losowymi zmiennymi Bernoulliego, wot parametry p 1p1 i p 2p2 , to E [ X ] = p 1E[X]=p1 i E [ Y ] = p 2E[Y]=p2 . Zatem cov ( X , Y ) = E [ X Y ] - E [ X ] E [ Y ]cov(X,Y)=E[XY]E[X]E[Y] wynosi 00tylko jeśli E [ X Y ] = P { X = 1 , Y = 1 }E[XY]=P{X=1,Y=1} jest równe p 1 p 2 = P { X = 1 } P { Y = 1 },p1p2=P{X=1}P{Y=1} co oznacza, że { X = 1 }{X=1} i { Y = 1 }{Y=1}niezależne wydarzenia . Jest to standardowy wynik, jeśli AA i BB są parą niezależnych zdarzeń, więc są też A , B cA,Bc i A c , BAc,B oraz A c , B cAc,Bc niezależne zdarzenia, tj. XX i YY są niezależnymi zmiennymi losowymi. Teraz uogólnij.
Dilip Sarwate

Odpowiedzi:

23

W przypadku zmiennych binarnych ich oczekiwana wartość jest równa prawdopodobieństwu, że są one równe jeden. W związku z tym,

E ( X Y ) = P ( X Y = 1 ) = P ( X = 1 Y = 1 )E ( X ) = P ( X = 1 )E ( Y ) = P ( Y = 1 )

E(XY)=P(XY=1)=P(X=1Y=1)E(X)=P(X=1)E(Y)=P(Y=1)

Jeśli dwa mają zerową kowariancję, oznacza to E ( X Y ) = E ( X ) E ( Y )E(XY)=E(X)E(Y) , co oznacza

P ( X = 1 Y = 1 ) = P ( X = 1 ) P ( Y = 1 )

P(X=1Y=1)=P(X=1)P(Y=1)

Trywialne jest obserwowanie mnożenia wszystkich innych prawdopodobieństw połączeń, przy użyciu podstawowych zasad dotyczących niezależnych zdarzeń (tj. Jeśli AA i BB są niezależne, to ich uzupełnienia są niezależne itp.), Co oznacza, że ​​funkcja masy wspólnej rozkłada się, co jest definicją dwóch niezależnych zmiennych losowych.

gammer
źródło
2
Concise and elegant. Classy! +1 =D
Marcelo Ventura
9

Both correlation and covariance measure linear association between two given variables and it has no obligation to detect any other form of association else.

Tak więc te dwie zmienne mogą być powiązane na kilka innych nieliniowych sposobów, a kowariancja (a zatem korelacja) nie mogła odróżnić od niezależnego przypadku.

Jako bardzo dydaktyczny, sztuczne i dla realistycznego przykład, można rozważyć X tak, że P ( X = x ) = 1 / 3 dla x = - 1 , 0 , 1 i również rozważyć Y = X 2XP(X=x)=1/3x=1,0,1Y=X2 . Zauważ, że są one nie tylko powiązane, ale jedno jest funkcją drugiego. Niemniej ich kowariancja wynosi 0, ponieważ ich powiązanie jest ortogonalne względem związku, który kowariancja może wykryć.

EDYTOWAĆ

Rzeczywiście, jak wskazał @whuber, powyższa oryginalna odpowiedź była w rzeczywistości komentarzem, w jaki sposób twierdzenie nie jest ogólnie prawdziwe, jeśli obie zmienne niekoniecznie byłyby dychotomiczne. Mój błąd!

So let's math up. (The local equivalent of Barney Stinson's "Suit up!")

Particular Case

If both XX and YY were dichotomous, then you can assume, without loss of generality, that both assume only the values 00 and 11 with arbitrary probabilities pp, qq and rr given by P(X=1)=p[0,1]P(Y=1)=q[0,1]P(X=1,Y=1)=r[0,1],

P(X=1)=p[0,1]P(Y=1)=q[0,1]P(X=1,Y=1)=r[0,1],
which characterize completely the joint distribution of XX and YY. Taking on @DilipSarwate's hint, notice that those three values are enough to determine the joint distribution of (X,Y)(X,Y), since P(X=0,Y=1)=P(Y=1)P(X=1,Y=1)=qrP(X=1,Y=0)=P(X=1)P(X=1,Y=1)=prP(X=0,Y=0)=1P(X=0,Y=1)P(X=1,Y=0)P(X=1,Y=1)=1(qr)(pr)r=1pqr.
P(X=0,Y=1)P(X=1,Y=0)P(X=0,Y=0)=P(Y=1)P(X=1,Y=1)=qr=P(X=1)P(X=1,Y=1)=pr=1P(X=0,Y=1)P(X=1,Y=0)P(X=1,Y=1)=1(qr)(pr)r=1pqr.
(On a side note, of course rr is bound to respect both pr[0,1]pr[0,1], qr[0,1]qr[0,1] and 1pqr[0,1]1pqr[0,1] beyond r[0,1]r[0,1], which is to say r[0,min(p,q,1pq)]r[0,min(p,q,1pq)].)

Notice that r=P(X=1,Y=1)r=P(X=1,Y=1) might be equal to the product pq=P(X=1)P(Y=1)pq=P(X=1)P(Y=1), which would render XX and YY independent, since P(X=0,Y=0)=1pqpq=(1p)(1q)=P(X=0)P(Y=0)P(X=1,Y=0)=ppq=p(1q)=P(X=1)P(Y=0)P(X=0,Y=1)=qpq=(1p)q=P(X=0)P(Y=1).

P(X=0,Y=0)P(X=1,Y=0)P(X=0,Y=1)=1pqpq=(1p)(1q)=P(X=0)P(Y=0)=ppq=p(1q)=P(X=1)P(Y=0)=qpq=(1p)q=P(X=0)P(Y=1).

Yes, rr might be equal to pqpq, BUT it can be different, as long as it respects the boundaries above.

Well, from the above joint distribution, we would have E(X)=0P(X=0)+1P(X=1)=P(X=1)=pE(Y)=0P(Y=0)+1P(Y=1)=P(Y=1)=qE(XY)=0P(XY=0)+1P(XY=1)=P(XY=1)=P(X=1,Y=1)=rCov(X,Y)=E(XY)E(X)E(Y)=rpq

E(X)E(Y)E(XY)Cov(X,Y)=0P(X=0)+1P(X=1)=P(X=1)=p=0P(Y=0)+1P(Y=1)=P(Y=1)=q=0P(XY=0)+1P(XY=1)=P(XY=1)=P(X=1,Y=1)=r=E(XY)E(X)E(Y)=rpq

Now, notice then that XX and YY are independent if and only if Cov(X,Y)=0Cov(X,Y)=0. Indeed, if XX and YY are independent, then P(X=1,Y=1)=P(X=1)P(Y=1)P(X=1,Y=1)=P(X=1)P(Y=1), which is to say r=pqr=pq. Therefore, Cov(X,Y)=rpq=0Cov(X,Y)=rpq=0; and, on the other hand, if Cov(X,Y)=0Cov(X,Y)=0, then rpq=0rpq=0, which is to say r=pqr=pq. Therefore, XX and YY are independent.

General Case

About the without loss of generality clause above, if XX and YY were distributed otherwise, let's say, for a<ba<b and c<dc<d, P(X=b)=pP(Y=d)=qP(X=b,Y=d)=r

P(X=b)=pP(Y=d)=qP(X=b,Y=d)=r
then XX and YY given by X=XabaandY=Ycdc
X=XabaandY=Ycdc
would be distributed just as characterized above, since X=aX=0,X=bX=1,Y=cY=0andY=dY=1.
X=aX=0,X=bX=1,Y=cY=0andY=dY=1.
So XX and YY are independent if and only if XX and YY are independent.

Also, we would have E(X)=E(Xaba)=E(X)abaE(Y)=E(Ycdc)=E(Y)cdcE(XY)=E(XabaYcdc)=E[(Xa)(Yc)](ba)(dc)=E(XYXcaY+ac)(ba)(dc)=E(XY)cE(X)aE(Y)+ac(ba)(dc)Cov(X,Y)=E(XY)E(X)E(Y)=E(XY)cE(X)aE(Y)+ac(ba)(dc)E(X)abaE(Y)cdc=[E(XY)cE(X)aE(Y)+ac][E(X)a][E(Y)c](ba)(dc)=[E(XY)cE(X)aE(Y)+ac][E(X)E(Y)cE(X)aE(Y)+ac](ba)(dc)=E(XY)E(X)E(Y)(ba)(dc)=1(ba)(dc)Cov(X,Y).

E(X)E(Y)E(XY)Cov(X,Y)=E(Xaba)=E(X)aba=E(Ycdc)=E(Y)cdc=E(XabaYcdc)=E[(Xa)(Yc)](ba)(dc)=E(XYXcaY+ac)(ba)(dc)=E(XY)cE(X)aE(Y)+ac(ba)(dc)=E(XY)E(X)E(Y)=E(XY)cE(X)aE(Y)+ac(ba)(dc)E(X)abaE(Y)cdc=[E(XY)cE(X)aE(Y)+ac][E(X)a][E(Y)c](ba)(dc)=[E(XY)cE(X)aE(Y)+ac][E(X)E(Y)cE(X)aE(Y)+ac](ba)(dc)=E(XY)E(X)E(Y)(ba)(dc)=1(ba)(dc)Cov(X,Y).
So Cov(X,Y)=0Cov(X,Y)=0 if and only Cov(X,Y)=0Cov(X,Y)=0.

=D

Marcelo Ventura
źródło
1
I recycled that answer from this post.
Marcelo Ventura
Verbatim cut and paste from your other post. Love it. +1
gammer
2
The problem with copy-and-paste is that your answer no longer seems to address the question: it is merely a comment on the question. It would be better, then, to post a comment with a link to your other answer.
whuber
2
How is thus an answer to the question asked?
Dilip Sarwate
1
Your edits still don't answer the question, at least not at the level the question is asked. You write "Notice that r  not necessarily equal to the product pq. That exceptional situation corresponds to the case of independence between X and Y." which is a perfectly true statement but only for the cognoscenti because for the hoi polloi, independence requires not just that P(X=1,Y=1)=P(X=1)P(Y=1)
but also P(X=u,Y=v)=P(X=u)P(Y=v), u.v{0,1}.
Yes, (1)(2) as the cognoscenti know; for lesser mortals, a proof that (1)(2) is helpful.
Dilip Sarwate
3

IN GENERAL:

The criterion for independence is F(x,y)=FX(x)FY(y). Or fX,Y(x,y)=fX(x)fY(y)

"If two variables are independent, their covariance is 0. But, having a covariance of 0 does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

independencezero cov, yet

zero covindependence.

Great example: XN(0,1), and Y=X2. Covariance is zero (and E(XY)=0, which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.


IN PARTICULAR (OP problem):

These are Bernoulli rv's, X and Y with probability of success Pr(X=1), and Pr(Y=1).

cov(X,Y)=E[XY]E[X]E[Y]=Pr(X=1Y=1)Pr(X=1)Pr(Y=1)Pr(X=1,Y=1)=Pr(X=1)Pr(Y=1).

This is equivalent to the condition for independence in Eq. (1).


():

E[XY]=domain X, YPr(X=xY=y)xy=0 iff x×y0Pr(X=1Y=1).

(): by LOTUS.


As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events A and B are independent, then events Ac and B are independent, and events Ac and Bc are also independent.

Proof By definition,

A and B are independent P(AB)=P(A)P(B).

But B=(AB)+(AcB), so P(B)=P(AB)+P(AcB), which yields:

P(AcB)=P(B)P(AB)=P(B)P(A)P(B)=P(B)[1P(A)]=P(B)P(Ac).

Repeat the argument for the events Ac and Bc, this time starting from the statement that Ac and B are independent and taking the complement of B.

Similarly. A and Bc are independent events.

So, we have shown already that Pr(X=1,Y=1)=Pr(X=1)Pr(Y=1)

and the above shows that this implies that Pr(X=i,Y=j)=Pr(X=i)Pr(Y=j),  i,j{0,1}
that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at (1,1). Hence, uncorrelated Bernoulli random variables X and Y are also independent random variables.
Antoni Parellada
źródło
2
Actually that's not an equivalent condition to Eq (1). All you showed was that fX,Y(1,1)=fX(1)fY(1)
gammer
Please consider replacing that image with your own equations, preferably ones that don't use overbars to denote complements. The overbars in the image are very hard to see.
Dilip Sarwate
@DilipSarwate No problem. Is it better, now?
Antoni Parellada
1
Thanks. Also, note that strictly speaking, you also need to show that A and Bc are independent events since the factorization of the joint pdf into the product of the marginal pmts must hold at all four points. Perhaps adding the sentence "Similarly. A and Bc are independent events" right after the proof that Ac and B are independent events will work.
Dilip Sarwate
@DilipSarwate Thank you very much for your help getting it right. The proof as it was before all the editing seemed self-explanatory, because of all the inherent symmetry, but it clearly couldn't be taken for granted. I am very appreciative of your assistance.
Antoni Parellada