Jaka jest intuicja stojąca za niezależnością

Miałem nadzieję, że ktoś może zaproponować argument wyjaśniający, dlaczego zmienne losowe $Y_1=X_2-X_1$ i $Y_2=X_1+X_2$ , o standardowym rozkładzie normalnym, są statystycznie niezależne. Dowód tego faktu łatwo wywodzi się z techniki MGF, ale uważam ją za wyjątkowo sprzeczną z intuicją.$X_i$

Byłbym wdzięczny za intuicję tutaj, jeśli w ogóle.

Z góry dziękuję.

EDYCJA : Indeksy dolne nie wskazują statystyk porządkowych, ale obserwacje IID ze standardowej normalnej dystrybucji.

Są to standardowe normalne dane rozproszone: Zauważ, że rozkład jest okrężny symetryczny.

Po zmianie na i Y 2$Y_1 = X_2 - X_1$ , skutecznie obracasz i skalujesz oś w następujący sposób: Nowy układ współrzędnych ma takie samo pochodzenie, jak oryginalny, a oś jest prostokątny. Ze względu na symetrię kołową zmienne są nadal niezależne w nowym układzie współrzędnych.$Y_2 = X_1 + X_2$

Wynik działa dla łącznie normalnie (tj. Z korelacją, - 1 < ρ < 1 ), ze wspólnym σ .$(X_1,X_2)$$-1<\rho<1$$\sigma$

Jeśli znasz kilka podstawowych wyników, to wszystko, czego potrzebujesz:

$\quad\quad\quad$

podejście dobiwan jest zasadniczo w porządku - po prostu wynik jest bardziej ogólny niż rozpatrywany tam przypadek.

Wynik twierdzisz, aby mogło być prawdziwe nie jest prawdą w ogóle, nawet w przypadku, gdy wszystko to jest znane to, że i X 2 są normalnymi zmiennymi losowymi o identycznym wariancji, ale wynik nie trzymać na zwykłym interpretacji warunku powiedziałeś później:$X_1$$X_2$

Indeksy dolne nie wskazują statystyk porządkowych, ale obserwacje ze standardowej normalnej dystrybucji.

Zwykłą interpretacją kilku ostatnich słów w tym stwierdzeniu jest oczywiście to, że i X 2 są niezależnymi (normalnymi) zmiennymi losowymi, a zatem łącznie normalnymi zmiennymi losowymi.$X_1$$X_2$

W przypadku wspólnie normalnych zmiennych losowych o identycznej wariancji prawdą jest, że i X 1 - X 2 są niezależnymi (normalnymi) zmiennymi losowymi (z ogólnie nierównymi wariancjami) i najlepiej podać intuicyjne wyjaśnienie w odpowiedzi Glen_b. W twoim szczególnym przypadku, gdy X 1 i X 2 są również niezależne, odpowiedź dobiwan, którą zaakceptowałeś, jest najprostsza i rzeczywiście pokazuje, że jakikolwiek obrót osi, nie tylko o ± $X_1+X_2$$X_1-X_2$$X_1$$X_2$ domyślnie w transformacji(X1,X2)→(X1+X2,X1-X2), da niezależne zmienne losowe.$\pm \frac{\pi}{4}$$(X_1,X_2)\to (X_1+X_2, X_1-X_2)$

---

Co można ogólnie powiedzieć? We wszystkim, co mówię poniżej, należy pamiętać, że i Y mają tę samą wariancję , bez względu na to, jakie inne właściwości mogą być im przypisane.$X$$Y$

Jeśli i Y są dowolnymi zmiennymi losowymi (uwaga: niekoniecznie normalna) o identycznej wariancji, wówczas X + Y i X - Y są nieskorelowanymi zmiennymi losowymi (to znaczy, że mają zerową kowariancję). Wynika to z faktu, że funkcja kowariancji jest dwuliniowa : cov ( X + Y , X - Y $X$$Y$$X+Y$$X-Y$ Tutaj użyliśmy faktcov(X,X)jest po prostu wariancjivar(X)zX(i podobnie dlaY) i, oczywiście, cov(Y,X)=cov(X,Y). Zauważ, że ten wynik obowiązuje, gdyXiYsą (marginalnie) normalnymi zmiennymi losowymi, ale niekonieczniełącznie

$$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$$ $\operatorname{cov}(X,X)$$\operatorname{var}(X)$$X$$Y$$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$$X$$Y$normalne zmienne losowe. (Jeśli nie znasz pojęcia marginalnej normalności, która nie jest tym samym, co normalność wspólna, zobacz tę wspaniałą odpowiedź kardynała). W szczególnym przypadku, gdy i Y są wspólnie normalne (ale niekoniecznie niezależne) normalne zmienne losowe, więc X + Y i X - Y są wspólnie normalne, a ponieważ ich kowariancja wynosi 0 , X + Y i X - Y są losowo niezależne zmienne.$X$$Y$$X+Y$$X-Y$$0$$X+Y$$X-Y$

Najpierw argumentuję za ogólnie identycznie rozmieszczonymi że średnia warunkowa Y 1 uwarunkowana na Y 2 jest stała 0 . Na tej podstawie twierdzę, że kowariancja   Y 1 , Y $X_1,X_2$$Y_1$$Y_2$$0$$Y_1,Y_2$ wynosi 0. Zatem, w normalności, zerowa kowariancja oznacza niezależność.

Średnia warunkowa

$X_1+X_2=y$$X_1=x, X_2 = y-x$$X_1 = y-x, X_2=x$

$X_1$$X_2$$X_1+X_2$$X_1 \mid Y_2 = y$$X_2 \mid Y_2 = y$

$$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$$

(Caveat: I did not consider the possibility that the conditional mean might not exist.)

Constant conditional mean implies zero correlation/covariance

Intuition: correlation measures how much $Y_1$ tends to increase when $Y_2$ increases. If observing $Y_2$ never changes our mean of $Y_1$, $Y_1$ and $Y_2$ are uncorrelated.

Proof: By definition, covariance is

$$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$$ to this expectation, we apply the law of iterated expectations: take the expectation of the conditional expectation conditional on $Y_2$: $$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$$ Recall that the conditional mean was shown to be independent of $Y_2$ and thus the expression simplifies as $$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$$ but the inner expectation is $0$ and we get $$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$$

Independence

Just by assuming identical distributions for $X_1,X_2$, it was shown that $Y_1$ and $Y_2$ are uncorrelated. When $X_1,X_2$ are jointly normal (for example, iid. normal as in the question), their linear combinations $Y_1,Y_2$ are also jointly normal and thus uncorrelatedness implies independence.