Czy suma i iloczyn dwóch macierzy kowariancji jest również macierzą kowariancji?

Załóżmy, że ma macierzy kowariancji i . Które z tych opcji są zatem również macierzami kowariancji?$X$$Y$

1. $X+Y$
2. $X^2$
3. $XY$

---

Mam trochę problemów ze zrozumieniem, co dokładnie jest potrzebne, aby coś mogło być matrycą kowariancji. Podejrzewam, że oznacza to na przykład, że jeśli nazwa , a że aby 1 mógł być prawdziwy, powinniśmy mieć , gdzie i kilka innych zmiennych losowych. Nie rozumiem jednak, dlaczego miałoby to dotyczyć żadnej z trzech opcji. Każdy wgląd byłby doceniony.$X=\operatorname{cov}(X_1,X_2)$$Y=\operatorname{cov}(Y_1,Y_2)$$\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$$Z_1$$Z_2$

tło

Macierz kowariancji dla wektora zmiennych losowych zawiera procedurę obliczania wariancji dowolnej liniowej kombinacji tych zmiennych losowych. Zasadą jest, że dla dowolnego wektora współczynników ,$\mathbb{A}$$X=(X_1, X_2, \ldots, X_n)^\prime$$\lambda = (\lambda_1, \ldots, \lambda_n)$

$$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$$

Innymi słowy, reguły mnożenia macierzy opisują reguły wariancji.

Dwie właściwości są natychmiastowe i oczywiste:$\mathbb{A}$

1. Ponieważ wariancje są oczekiwanymi wartościami do kwadratu, nigdy nie mogą być ujemne. Zatem dla wszystkich wektorów ,Macierze kowariancji muszą być nieokreślone z góry.$\lambda$

   $$0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$$

2. Odchylenia są tylko liczbami - lub, jeśli czytasz formuły macierzowe dosłownie, są to macierze. Dlatego nie zmieniają się, gdy je transponujesz. Transpozycja daje Ponieważ dotyczy to wszystkich , musi być równa transpozycji : macierze kowariancji muszą być symetryczne.$1\times 1$$(1)$

   $$\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$$ $\lambda$$\mathbb{A}$$\mathbb{A}^\prime$

Głębszy wynik jest taki, że jakakolwiek nie-ujemna macierz symetryczna jest macierzą kowariancji. $\mathbb{A}$ Oznacza to, że faktycznie istnieje pewna zmienna losowa o wartości wektorowej z jako jej kowariancją. Możemy zademonstrować to wyraźnie konstruowania . Jednym ze sposobów jest zauważenie, że funkcja gęstości (wielowymiarowa) z właściwością ma ze względu na kowariancję. (Potrzebna jest delikatność, gdy nie jest odwracalny - ale to tylko szczegół techniczny.)$X$$\mathbb{A}$$X$$f(x_1,\ldots, x_n)$

$$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$$ $\mathbb{A}$$\mathbb{A}$

Rozwiązania

Niech i będą macierzami kowariancyjnymi. Oczywiście są kwadratowe; a jeśli ich suma ma sens, muszą mieć te same wymiary. Musimy tylko sprawdzić dwie właściwości.$\mathbb{X}$$\mathbb{Y}$

1. Suma.

   • Symetria pokazuje suma jest symetryczna. $$(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$$
   • Nieujemna definitywność. Niech będzie dowolnym wektorem. Następnie potwierdza punkt przy użyciu podstawowych właściwości mnożenia macierzy.$\lambda$ $$\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$$

2. Zostawiam to jako ćwiczenie.

3. Ten jest trudny. Jedną z metod, które wykorzystuję do przemyślenia trudnych problemów z macierzą, jest wykonanie pewnych obliczeń za pomocą macierzy . Istnieje kilka popularnych, znanych macierzy kowariancji o tym rozmiarze, takich jak z i . Problem polega na tym, że może nie być jednoznaczny: to znaczy, czy może dawać wartość ujemną przy obliczaniu wariancji? Jeśli tak, to lepiej, żebyśmy mieli pewne ujemne współczynniki w macierzy. Sugeruje to rozważenie dla . Aby uzyskać coś interesującego, możemy początkowo przyciągać do matryc$2\times 2$

   $$\pmatrix{a & b \\ b & a}$$ $a^2 \ge b^2$$a \ge 0$$\mathbb{XY}$ $$\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$$ $a \ge 1$$\mathbb{Y}$ o różnych strukturach. Przychodzą mi na myśl macierze diagonalne, takie jak z . (Zauważ, jak możemy swobodnie wybierać niektóre współczynniki, takie jak i , ponieważ możemy przeskalować wszystkie wpisy w dowolnej macierzy kowariancji bez zmiany jej podstawowych właściwości. Upraszcza to wyszukiwanie interesujących przykładów.) $$\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$$ $b\ge 0$$-1$$1$

   Pozostawiam Ci obliczenie i sprawdzenie, czy zawsze jest to macierz kowariancji dla dowolnych dopuszczalnych wartości i .$\mathbb{XY}$$a$$b$

Prawdziwa macierz jest macierzą kowariancji wtedy i tylko wtedy, gdy jest symetryczna dodatnio półokreślona.

Poradnik:

1) Jeśli i są symetryczne, czy symetryczne? Jeśli dla dowolnego oraz dla dowolnego , co możesz wyciągnąć na temat ?$X$$Y$$X+Y$$z^TX z \ge 0$$z$$z^TY z \ge 0$$z$$z^T(X+Y)z$

2) Jeśli jest symetryczny, czy symetryczny? Jeśli wartości własne są nieujemne, co możesz wyciągnąć na temat wartości własnych ?$X$$X^2$$X$$X^2$

3) Jeśli i są symetryczne, czy możesz dojść do wniosku, że jest symetryczny, czy możesz znaleźć przeciwny przykład?$X$$Y$$XY$