Odpowiednia miara, aby znaleźć najmniejszą macierz kowariancji

W podręczniku, który czytam, używają one pozytywnej definitywności (półdodatniej definitywności) do porównania dwóch macierzy kowariancji. Pomysł jest, że jeśli jest Pd następnie jest mniejsza niż . Ale walczę o intuicję tego związku? $A-B$ $B$ $A$

Istnieje podobny wątek tutaj:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

Jaka jest intuicja używania definitywności do porównywania macierzy?

Chociaż odpowiedzi są miłe, tak naprawdę nie odnoszą się do intuicji.

Oto przykład, który wydaje mi się mylący:

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

teraz tutaj wyznacznikiem różnicy jest -25, więc relacja nie jest pd ani nawet psd, a więc pierwsza macierz nie jest większa niż pierwsza?

Chcę po prostu porównać dwie macierze kowariancji 3 * 3, aby zobaczyć, która jest najmniejsza? Bardziej intuicyjne wydaje mi się użycie czegoś takiego jak norma euklidesowa do ich porównania? Oznaczałoby to jednak, że pierwsza macierz powyżej jest większa niż druga macierz. Co więcej, widzę tylko kryterium pd / psd stosowane do porównywania macierzy kowariancji.

Czy ktoś może wyjaśnić, dlaczego pd / psd jest lepszy niż użycie innej miary, takiej jak norma euklidesowa?

Wysłałem również to pytanie na forum matematyczne (nie byłem pewien, co jest najlepsze), mam nadzieję, że nie narusza to żadnych zasad.

/math/628135/comparing-two-covariance-matrices

covariance-matrix matrix intuition linear-algebra geometry Baz
źródło

Możesz przeczytać to, gdy bierze się pod uwagę intuicję stojącą za pozytywną (pół) definitywnością. Gdy porównasz 2 wariancje ai bjeśli a-bjest dodatnia, powiedzielibyśmy, że po usunięciu zmienności bz aniej pozostaje trochę „prawdziwej” zmienności a. Podobnie jest w przypadku wariancji wielowymiarowych (= macierze kowariancji) Ai B. Jeśli A-Bjest pozytywnie określony, oznacza to, że A-Bkonfiguracja wektorów jest „rzeczywista” w przestrzeni euklidesowej: innymi słowy, po usunięciu Bz Aniej ta ostatnia nadal jest realną zmiennością.

ttnphns

Co pan na myśli przez „najmniejszy” dwóch macierzy kowariancji?

whuber

Cześć whuber, macierze kowariancji odnoszą się do konkurujących estymatorów, chcę wybrać estymator, który ma najmniejszą wariancję. (Czy to wyjaśnia?)

Baz

Baz: Dlaczego więc nie porównać bezpośrednio wariancji estymatorów?

Glen_b

Cześć, ustawiono metodę, podano wyrażenie, które nazywają wariancją (która obejmuje kowariancje). Jednak nawet gdybym porównał tylko wariancje, nadal wymagałoby to porównania wartości wektorów, które będą miały podobne problemy do porównania wartości macierzy?

Baz

Odpowiedzi:

Kolejność macierzy, o której mówisz, jest znana jako kolejność Loewnera i jest to częściowa kolejność, często używana w badaniu pozytywnych określonych macierzy. Dostępna jest tutaj obróbka geometrii długości książki na rozmaitości macierzy z dodatnimi (posdef) .

Najpierw spróbuję odpowiedzieć na twoje pytanie dotyczące intuicji . Macierz (symetryczna) jest posdef, jeśli dla wszystkich . Jeśli jest zmienną losową (rv) z macierzą kowariancji , to jest (proporcjonalne do) jego projekcji w jakiejś podprzestrzeni o jednym przyciemnieniu, a . Stosując to do w swoim Q, po pierwsze: jest to macierz kowariancji, po drugie: zmienna losowa z macierzą kowariancji rzutuje we wszystkich kierunkach z mniejszą wariancją niż rv z macierzą kowariancji $A$ $c^T A c\ge 0$ $c \in \mathbb{R}^n$ $X$ $A$ $c^T X$ $\mathbb{Var}(c^T X) = c^T A c$ $A-B$ $B$ $A$ . Wyjaśnia to intuicyjnie, że to uporządkowanie może być tylko częściowe, istnieje wiele rv, które będą wyświetlać w różnych kierunkach z bardzo różnymi wariancjami. Twoja propozycja niektórych norm euklidesowych nie ma tak naturalnej interpretacji statystycznej.

Twój „mylący przykład” jest mylący, ponieważ obie macierze mają wyznacznik zero. Dla każdego z nich istnieje jeden kierunek (wektor własny z wartością własną zero), w którym zawsze rzutuje na zero . Ale ten kierunek jest inny dla dwóch macierzy, dlatego nie można ich porównywać.

Rząd Loewnera jest zdefiniowany w taki sposób, że , jest bardziej dodatni określony niż , jeśli jest posdef. Jest to porządek częściowy, dla niektórych macierzy posdef ani ani nie jest posdef. Przykład: Jeden ze sposobów pokazanie tego graficznie rysuje wykres z dwoma elipsami, ale wyśrodkowany na początku, powiązany w standardowy sposób z macierzami (wówczas odległość promieniowa w każdym kierunku jest proporcjonalna do wariancji rzutowania w tym kierunku): $A \preceq B$ $B$ $A$ $B-A$ $B-A$ $A-B$

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$

W takim przypadku dwie elipsy są zgodne, ale obracają się inaczej (w rzeczywistości kąt wynosi 45 stopni). Odpowiada to temu, że macierze i mają te same wartości własne, ale wektory własne są obracane. $A$ $B$

Ponieważ odpowiedź ta zależy w dużej mierze od właściwości elips, następujące Na jakiej intuicji kryją się warunkowe rozkłady Gaussa? geometryczne objaśnienie elips może być pomocne.

Teraz wyjaśnię, w jaki sposób definiowane są elipsy powiązane z macierzami. Macierz posdef definiuje postać kwadratową . Można to wykreślić jako funkcję, wykres będzie kwadratowy. Jeśli to wykres zawsze będzie powyżej wykresu . Jeśli wycinamy wykresy płaszczyzną poziomą na wysokości 1, wówczas cięcia będą opisywać elipsy (w rzeczywistości jest to sposób definiowania elips). Te wycięte elipsy są podane przez równania i widzimy, że $A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$

A ⪯ B

$A \preceq B$ odpowiada elipsie B (teraz z wnętrzem) jest zawarty w elipsie A. Jeśli nie ma porządku, nie będzie żadnej ochrony. Zauważamy, że kolejność włączenia jest odwrotna do częściowej kolejności Loewnera, jeśli nie lubimy tego, możemy narysować elipsy odwrotności. Jest tak, ponieważ jest równoważne . Ale pozostanę przy elipsach określonych tutaj.

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

Elipsa może być opisana półosiami i ich długością. Omówimy tutaj tylko , ponieważ są to te, które możemy narysować ... Potrzebujemy więc dwóch głównych osi i ich długości. Można to znaleźć, jak wyjaśniono tutaj za pomocą składowej macierzy posdef. Następnie główne osie są podawane przez wektory własne, a ich długość można obliczyć z wartości własnych przez Widzimy również, że obszar elipsy reprezentującej to . $2\times 2$ $a,b$ $\lambda_1, \lambda_2$

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

Podam ostatni przykład, w którym można zamówić matryce:

Dwiema macierzami w tym przypadku były:

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

kjetil b halvorsen
źródło

@kjetil b halvorsen daje miłą dyskusję na temat geometrycznej intuicji stojącej za pozytywną półokreślonością jako częściowego uporządkowania. Bardziej niechlujne podejście przyjmie tę samą intuicję. Jeden, który opiera się na rodzajach obliczeń, które możesz chcieć zrobić z macierzami wariancji.

Załóżmy, że masz dwie losowe zmienne i . Jeśli są skalarami, możemy obliczyć ich wariancje jako skalary i porównać je w oczywisty sposób, używając skalarnych liczb rzeczywistych i . Więc jeśli i , mówimy, że zmienna losowa ma mniejszą wariancję niż . $x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

Z drugiej strony, jeśli i są wartościami wektora zmiennych losowych (powiedzmy, że są dwie wektory), w jaki sposób możemy porównać ich wariancji nie jest tak oczywista. Powiedzmy, że ich wariancje to: Jak porównujemy wariancje tych dwóch losowych wektorów? Jedyne, co moglibyśmy zrobić, to po prostu porównać wariancje ich poszczególnych elementów. Możemy więc powiedzieć, że wariancja jest mniejsza niż wariancja po prostu porównując liczby rzeczywiste, takie jak: i $x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$ . Więc może moglibyśmy powiedzieć, że wariancja jest wariancji jeśli wariancja każdego elementu jest wariancji odpowiedniego elementu . To byłoby jak powiedzenie jeśli każdy z elementów ukośnych jest odpowiadającym elementem ukośnym .

x

$x$

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

Ta definicja wydaje się rozsądna na pierwszy rzut oka. Ponadto, o ile rozważane macierze wariancji są ukośne (tzn. Wszystkie kowariancje mają wartość 0), jest to takie samo, jak stosowanie półokreśloności. To znaczy, jeśli wariancje wyglądają jak a następnie mówiąc jest dodatnio-półokreślone (tj. że ) jest dokładnie takie samo jak powiedzenie i . Wszystko wydaje się dobre, dopóki nie wprowadzimy kowariancji. Rozważ ten przykład:

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ Teraz, używając porównania, które uwzględnia tylko przekątne, powiedzielibyśmy i rzeczywiście nadal jest prawdą, że element po elemencie . To, co może nas niepokoić, to fakt, że jeśli pewną ważoną sumę elementów wektorów, takich jak i , wówczas się na fakt, że chociaż mówimy .

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

To dziwne, prawda? Gdy i są skalarne, to gwarantuje, że dla dowolnej, nie-losowych , . $x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$

Jeśli z jakiegoś powodu interesują nas liniowe kombinacje elementów zmiennych losowych, takie jak to, możemy wzmocnić naszą definicję dla macierzy wariancji. Może chcemy powiedzieć wtedy i tylko wtedy, gdy prawdą jest, że , bez względu na to, jakie liczby stałe i wybieramy. Zauważ, że jest to silniejsza definicja niż definicja tylko po przekątnej, ponieważ jeśli to znaczy , a jeśli to mówi . $\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

Ta druga definicja, która mówi wtedy i tylko wtedy, gdy dla każdego możliwego ustalonego wektora , jest zwykłą metodą porównywania wariancji macierze oparte na dodatniej : Spójrz na ostatnie wyrażenie i definicję dodatniej półokreślonej, aby zobaczyć, że definicja dla macierzy wariancji jest wybrana dokładnie, aby zagwarantować, że wtedy i tylko wtedy, gdy dla dowolnego wyboru , tj. gdy jest dodatnie pół -określony. $V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

Tak więc odpowiedź na twoje pytanie brzmi: ludzie twierdzą, że macierz wariancji jest mniejsza niż macierz wariancji jeśli jest dodatnio półokreślona, ponieważ są zainteresowani porównaniem wariancji kombinacji liniowych elementów leżących poniżej wektorów losowych. Wybrana definicja wynika z tego, co jesteś zainteresowany obliczeniem i jak ta definicja pomaga ci w tych obliczeniach. $V$ $W$ $W-V$

Rachunek
źródło