Czy suma i iloczyn dwóch macierzy kowariancji jest również macierzą kowariancji?

12

Załóżmy, że ma macierzy kowariancji i . Które z tych opcji są zatem również macierzami kowariancji?XY

  1. X+Y
  2. X2
  3. XY

Mam trochę problemów ze zrozumieniem, co dokładnie jest potrzebne, aby coś mogło być matrycą kowariancji. Podejrzewam, że oznacza to na przykład, że jeśli nazwa , a że aby 1 mógł być prawdziwy, powinniśmy mieć , gdzie i kilka innych zmiennych losowych. Nie rozumiem jednak, dlaczego miałoby to dotyczyć żadnej z trzech opcji. Każdy wgląd byłby doceniony.X=cov(X1,X2)Y=cov(Y1,Y2)cov(X1,X2)+cov(Y1,Y2)=cov(Z1,Z2)Z1Z2

rbm
źródło

Odpowiedzi:

12

tło

Macierz kowariancji dla wektora zmiennych losowych zawiera procedurę obliczania wariancji dowolnej liniowej kombinacji tych zmiennych losowych. Zasadą jest, że dla dowolnego wektora współczynników ,AX=(X1,X2,,Xn)λ=(λ1,,λn)

(1)Var(λX)=λAλ.

Innymi słowy, reguły mnożenia macierzy opisują reguły wariancji.

Dwie właściwości są natychmiastowe i oczywiste:A

  1. Ponieważ wariancje są oczekiwanymi wartościami do kwadratu, nigdy nie mogą być ujemne. Zatem dla wszystkich wektorów ,Macierze kowariancji muszą być nieokreślone z góry.λ

    0Var(λX)=λAλ.
  2. Odchylenia są tylko liczbami - lub, jeśli czytasz formuły macierzowe dosłownie, są to macierze. Dlatego nie zmieniają się, gdy je transponujesz. Transpozycja daje Ponieważ dotyczy to wszystkich , musi być równa transpozycji : macierze kowariancji muszą być symetryczne.1×1(1)

    λAλ=Var(λX)=Var(λX)=(λAλ)=λAλ.
    λAA

Głębszy wynik jest taki, że jakakolwiek nie-ujemna macierz symetryczna jest macierzą kowariancji. A Oznacza to, że faktycznie istnieje pewna zmienna losowa o wartości wektorowej z jako jej kowariancją. Możemy zademonstrować to wyraźnie konstruowania . Jednym ze sposobów jest zauważenie, że funkcja gęstości (wielowymiarowa) z właściwością ma ze względu na kowariancję. (Potrzebna jest delikatność, gdy nie jest odwracalny - ale to tylko szczegół techniczny.)XAXf(x1,,xn)

log(f)12(x1,,xn)A1(x1,,xn)
AA

Rozwiązania

Niech i będą macierzami kowariancyjnymi. Oczywiście są kwadratowe; a jeśli ich suma ma sens, muszą mieć te same wymiary. Musimy tylko sprawdzić dwie właściwości.XY

  1. Suma.

    • Symetria pokazuje suma jest symetryczna.
      (X+Y)=X+Y=(X+Y)
    • Nieujemna definitywność. Niech będzie dowolnym wektorem. Następnie potwierdza punkt przy użyciu podstawowych właściwości mnożenia macierzy.λ
      λ(X+Y)λ=λXλ+λYλ0+0=0
  2. Zostawiam to jako ćwiczenie.

  3. Ten jest trudny. Jedną z metod, które wykorzystuję do przemyślenia trudnych problemów z macierzą, jest wykonanie pewnych obliczeń za pomocą macierzy . Istnieje kilka popularnych, znanych macierzy kowariancji o tym rozmiarze, takich jak z i . Problem polega na tym, że może nie być jednoznaczny: to znaczy, czy może dawać wartość ujemną przy obliczaniu wariancji? Jeśli tak, to lepiej, żebyśmy mieli pewne ujemne współczynniki w macierzy. Sugeruje to rozważenie dla . Aby uzyskać coś interesującego, możemy początkowo przyciągać do matryc2×2

    (abba)
    a2b2a0XY
    X=(a11a)
    a1Y o różnych strukturach. Przychodzą mi na myśl macierze diagonalne, takie jak z . (Zauważ, jak możemy swobodnie wybierać niektóre współczynniki, takie jak i , ponieważ możemy przeskalować wszystkie wpisy w dowolnej macierzy kowariancji bez zmiany jej podstawowych właściwości. Upraszcza to wyszukiwanie interesujących przykładów.)
    Y=(b001)
    b011

    Pozostawiam Ci obliczenie i sprawdzenie, czy zawsze jest to macierz kowariancji dla dowolnych dopuszczalnych wartości i .XYab

Whuber
źródło
13

Prawdziwa macierz jest macierzą kowariancji wtedy i tylko wtedy, gdy jest symetryczna dodatnio półokreślona.

Poradnik:

1) Jeśli i są symetryczne, czy symetryczne? Jeśli dla dowolnego oraz dla dowolnego , co możesz wyciągnąć na temat ?XYX+YzTXz0zzTYz0zzT(X+Y)z

2) Jeśli jest symetryczny, czy symetryczny? Jeśli wartości własne są nieujemne, co możesz wyciągnąć na temat wartości własnych ?XX2XX2

3) Jeśli i są symetryczne, czy możesz dojść do wniosku, że jest symetryczny, czy możesz znaleźć przeciwny przykład?XYXY

Mark L. Stone
źródło