Dlaczego inwersja macierzy kowariancji daje częściowe korelacje między zmiennymi losowymi?

Słyszałem, że częściowe korelacje między zmiennymi losowymi można znaleźć, odwracając macierz kowariancji i pobierając odpowiednie komórki z takiej wynikowej macierzy precyzji (fakt ten jest wspomniany w http://en.wikipedia.org/wiki/Partial_correlation , ale bez dowodu) .

Dlaczego tak jest?

covariance covariance-matrix linear-algebra partial-correlation matrix-inverse michal
źródło

Jeśli chcesz uzyskać częściową korelację w komórce kontrolowanej dla wszystkich innych zmiennych, ostatni akapit tutaj może rzucić światło.

ttnphns

Odpowiedzi:

Gdy wieloczynnikowa zmienna losowa $(X_1,X_2,\ldots,X_n)$ ma niejednakowaną macierz kowariancji $\mathbb{C} = (\gamma_{ij}) = (\text{Cov}(X_i,X_j))$ , zbiór wszystkich rzeczywistych kombinacji liniowych $X_i$ tworzy $n$ wymiarową przestrzeń wektora rzeczywistego o podstawie $E=(X_1,X_2,\ldots, X_n)$ i nie zdegenerowany produkt wewnętrzny podany przez

⟨ X_{i}, X_{j} ⟩ = γ_{i j} .

$\langle X_i,X_j \rangle = \gamma_{ij}\ .$

Jego podwójna podstawa w odniesieniu do tego produktu wewnętrznego , $E^{*} = (X_1^{*},X_2^{*}, \ldots, X_n^{*})$ , jest jednoznacznie określona przez relacje

⟨ X_{i}^{*}, X_{j} ⟩ = δ_{i j},

$\langle X_i^{*}, X_j \rangle = \delta_{ij}\ ,$

delta Kroneckera (równa gdy oraz $1$ $i=j$ $0$ inaczej).

Podwójna podstawa jest przedmiotem zainteresowania tutaj, ponieważ częściowe korelacja i otrzymuje się korelacji pomiędzy częścią która pozostała po projekcji go w przestrzeń rozpięta przez wszystkich innych wektorów (niech po prostu nazwać jej " resztkowa”, ) oraz porównywalne część , resztkowej . Jednak jest wektorem, który jest prostopadły do wszystkich wektorów oprócz i ma dodatni iloczyn wewnętrzny z skąd $X_i$ $X_j$ $X_i$ $X_{i\circ}$ $X_j$ $X_{j\circ}$ $X_i^{*}$ $X_i$ $X_i$ $X_{i\circ}$ musi być pewną nieujemną wielokrotnością , i podobnie dla . Napiszmy zatem $X_i^{*}$ $X_j$

X_{ja \circ} = λ_{ja} X_{ja}^{*}, X_{jot \circ} = λ_{jot} X_{jot}^{*}

$X_{i\circ} = \lambda_i X_i^{*},\ X_{j\circ} = \lambda_j X_j^{*}$

dla dodatnich liczb rzeczywistych i $\lambda_i$ $\lambda_j$ .

Korelacja częściowa jest znormalizowanym iloczynem kropkowym reszt, który nie ulega zmianie przez przeskalowanie:

ρ_{ja jot \circ} = \frac{⟨ X_{ja \circ}, X_{jot \circ} ⟩}{\sqrt{⟨ X_{ja \circ}, X_{ja \circ} ⟩ ⟨ X_{jot \circ}, X_{jot \circ} ⟩}} = \frac{λ_{ja} λ_{jot} ⟨ X_{ja}^{*}, X_{jot}^{*} ⟩}{\sqrt{λ_{ja}^{2)} ⟨ X_{ja}^{*}, X_{ja}^{*} ⟩ λ_{jot}^{2)} ⟨ X_{jot}^{*}, X_{jot}^{*} ⟩}} = \frac{⟨ X_{ja}^{*}, X_{jot}^{*} ⟩}{\sqrt{⟨ X_{ja}^{*}, X_{ja}^{*} ⟩ ⟨ X_{jot}^{*}, X_{jot}^{*} ⟩}} .

$\rho_{ij\circ} = \frac{\langle X_{i\circ}, X_{j\circ} \rangle}{\sqrt{\langle X_{i\circ}, X_{i\circ} \rangle\langle X_{j\circ}, X_{j\circ} \rangle}} = \frac{\lambda_i\lambda_j\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\lambda_i^2\langle X_{i}^{*}, X_{i}^{*} \rangle\lambda_j^2\langle X_{j}^{*}, X_{j}^{*} \rangle}} = \frac{\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\langle X_{i}^{*}, X_{i}^{*} \rangle\langle X_{j}^{*}, X_{j}^{*} \rangle}}\ .$

(W obu przypadkach częściowa korelacja wyniesie zero, ilekroć reszty są ortogonalne, niezależnie od tego, czy są niezerowe).

Musimy znaleźć wewnętrzne produkty podwójnych elementów. W tym celu rozwiń elementy podwójnej podstawy pod względem oryginalnej podstawy : $E$

X_{ja}^{*} = \sum_{jot = 1}^{n} β_{ja jot} X_{jot} .

$X_i^{*} = \sum_{j=1}^n \beta_{ij} X_j\ .$

Następnie z definicji

δ_{ja k} = ⟨ X_{ja}^{*}, X_{k} ⟩ = \sum_{jot = 1}^{n} β_{ja jot} ⟨ X_{jot}, X_{k} ⟩ = \sum_{jot = 1}^{n} β_{ja jot} γ_{jot k} .

$\delta_{ik} = \langle X_i^{*}, X_k \rangle = \sum_{j=1}^n \beta_{ij}\langle X_j, X_k \rangle = \sum_{j=1}^n \beta_{ij}\gamma_{jk}\ .$

W notacji macierzowej z macierzą tożsamości i macierzą zmiany podstawy, to stwierdza $\mathbb{I} = (\delta_{ij})$ $\mathbb{B} = (\beta_{ij})$

ja = b do .

$\mathbb{I} = \mathbb{BC}\ .$

Oznacza to, że , co dokładnie twierdzi artykuł w Wikipedii. Poprzednia formuła częściowej korelacji podaje $\mathbb{B} = \mathbb{C}^{-1}$

ρ_{ja jot \cdot} = \frac{β_{ja jot}}{\sqrt{β_{ja ja} β_{jot jot}}} = \frac{{do}_{ja jot}^{- 1}}{\sqrt{{do}_{ja ja}^{- 1} {do}_{jot jot}^{- 1}}} .

$\rho_{ij\cdot} = \frac{\beta_{ij}}{\sqrt{\beta_{ii} \beta_{jj}}} = \frac{\mathbb{C}^{-1}_{ij}}{\sqrt{\mathbb{C}^{-1}_{ii} \mathbb{C}^{-1}_{jj}}}\ .$

Whuber
źródło

+1, świetna odpowiedź. Ale dlaczego nazywacie tę podwójną podstawę „podwójną podstawą w odniesieniu do tego wewnętrznego produktu” - co dokładnie oznacza „w odniesieniu do tego wewnętrznego produktu”? Wydaje się, że stosowanie terminu „podwójnej podstawy”, jak określono tutaj mathworld.wolfram.com/DualVectorSpace.html w akapicie drugim ( "Given przestrzeni wektorowej Podstawa

istnieje podwójną podstawę ... ”) lub tutaj en.wikipedia.org/wiki/Dual_basis i jest niezależny od jakiegokolwiek produktu skalarnego.

v_{1}, . . ., v_{n}

$v_1, ..., v_n$

V

$V$

ameba mówi Przywróć Monikę

@amoeba Istnieją dwa rodzaje duetów. (Naturalny) podwójny dowolnej przestrzeni wektorowej

nad polem

jest zbiorem funkcji liniowych

, zwanych

. Nie ma kanonicznego sposobu na identyfikację

, nawet jeśli mają ten sam wymiar, gdy

jest skończony. Każdy iloczyn wewnętrzny

odpowiada takiej mapie

i odwrotnie , przez

V

$V$

R

$R$

ϕ : V \to R

$\phi:V\to R$

V^{*}

$V^*$

V^{*}

$V^*$

V

$V$

V

$V$

γ

$\gamma$

g : V \to V^{*}

$g:V\to V^*$

(Niedegeneracja

zapewnia, że

jest izomorfizmem przestrzeni wektorowej.) To pozwala spojrzeć na elementy

tak, jakby były elementami podwójnego

ale to zależy od

sol (v) (w) = γ (v, w) .

$g(v)(w)=\gamma(v,w).$

γ

$\gamma$

g

$g$

V

$V$

V^{*}

$V^*$

γ

$\gamma$

whuber

@mpettis Te kropki były trudne do zauważenia. Zastąpiłem je małymi otwartymi kółkami, aby ułatwić odczytanie notacji. Dzięki za zwrócenie na to uwagi.

whuber

@Andy Ron Christensen's Plane Odpowiedzi na złożone pytania mogą być tym, czego szukasz. Niestety jego podejście sprawia, że (IMHO) nadmiernie polega na argumentach i obliczeniach dotyczących współrzędnych. We wstępie (patrz str. Xiii) Christensen wyjaśnia, że to z powodów pedagogicznych.

whuber

@whuber, Twój dowód jest niesamowity. Zastanawiam się, czy jakakolwiek książka lub artykuł zawiera taki dowód, żebym mógł zacytować.

Harry

Oto dowód z samych obliczeń macierzowych.

Doceniam odpowiedź Whuber. Jest bardzo wnikliwy w matematyce za sceną. Jednak nadal nie jest tak trywialne, jak użyć jego odpowiedzi, aby uzyskać znak minus w formule podanej w wikipedii Partial_corelation # Using_matrix_inversion .

ρ_{X_{ja} X_{jot} \cdot V. ∖ {X_{ja}, X_{jot}}} = - \frac{p_{ja jot}}{\sqrt{p_{ja ja} p_{jot jot}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = - \frac{p_{ij}}{\sqrt{p_{ii}p_{jj}}}$

Aby uzyskać ten znak minus, oto inny dowód, który znalazłem w „Modelach graficznych Lauriten 1995 Page 130”. Dokonuje się tego po prostu przez niektóre obliczenia macierzowe.

Kluczem jest następująca tożsamość macierzy: gdzie , i

{(\begin{matrix} ZA & b \\ do & re \end{matrix})}^{- 1} = (\begin{matrix} {mi}^{- 1} & - {mi}^{- 1} sol \\ - fa {mi}^{- 1} & {re}^{- 1} + fa {mi}^{- 1} sol \end{matrix})

$\begin{pmatrix} A & B \\ C & D \end{pmatrix}^{-1} = \begin{pmatrix} E^{-1} & -E^{-1}G \\ -FE^{-1} & D^{-1}+FE^{-1}G \end{pmatrix}$

E = A - B D^{- 1} C

$E = A - BD^{-1}C$

F = D^{- 1} C

$F = D^{-1}C$

G = B D^{- 1}

$G = BD^{-1}$

Zapisz macierz kowariancji jako gdzie jest macierzą kowariancji a jest macierzą kowariancji .

Ω = (\begin{matrix} Ω_{11} & Ω_{12} \\ Ω_{21} & Ω_{22} \end{matrix})

$\Omega = \begin{pmatrix} \Omega_{11} & \Omega_{12} \\ \Omega_{21} & \Omega_{22} \end{pmatrix}$

Ω_{11}

$\Omega_{11}$

(X_{i}, X_{j})

$(X_i, X_j)$

Ω_{22}

$\Omega_{22}$

V ∖ {X_{i}, X_{j}}

$\mathbf{V} \setminus \{X_i, X_j \}$

Niech . Podobnie zapisz jako $P = \Omega^{-1}$ $P$

P = (\begin{matrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{matrix})

$P = \begin{pmatrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{pmatrix}$

Według tożsamości macierzy klucza

P_{11}^{- 1} = Ω_{11} - Ω_{12} Ω_{22}^{- 1} Ω_{21}

$P_{11}^{-1} = \Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$

Wiemy również, że jest macierzą kowariancji (z Multivariate_normal_distribution # Conditional_distribution ). Korelacja częściowa wynosi zatem $\Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$ $(X_i, X_j) | \mathbf{V} \setminus \{X_i, X_j\}$ Używać zapisu, żep wprowadzanie matrycyjest oznaczony.

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} .

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}}.$

(k, l)

$(k,l)$

M

$M$

[M]_{k l}

$[M]_{kl}$

Prosta formuła inwersji macierzy 2 na 2,

(\begin{matrix} [P_{11}^{- 1}]_{11} & [P_{11}^{- 1}]_{12} \\ [P_{11}^{- 1}]_{21} & [P_{11}^{- 1}]_{22} \end{matrix}) = P_{11}^{- 1} = \frac{1}{det P_{11}} (\begin{matrix} [P_{11}]_{22} & - [P_{11}]_{12} \\ - [P_{11}]_{21} & [P_{11}]_{11} \end{matrix})

$\begin{pmatrix} [P_{11}^{-1}]_{11} & [P_{11}^{-1}]_{12} \\ [P_{11}^{-1}]_{21} & [P_{11}^{-1}]_{22} \\ \end{pmatrix} = P_{11}^{-1} = \frac{1}{\text{det} P_{11}} \begin{pmatrix} [P_{11}]_{22} & -[P_{11}]_{12} \\ -[P_{11}]_{21} & [P_{11}]_{11} \\ \end{pmatrix}$

Dlatego co właśnie twierdzi artykuł w Wikipedii.

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} = \frac{- \frac{1}{det P_{11}} [P_{11}]_{12}}{\sqrt{\frac{1}{det P_{11}} [P_{11}]_{22} \frac{1}{det P_{11}} [P_{11}]_{11}}} = \frac{- [P_{11}]_{12}}{\sqrt{[P_{11}]_{22} [P_{11}]_{11}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}} = \frac{- \frac{1}{\text{det}P_{11}}[P_{11}]_{12}}{\sqrt{\frac{1}{\text{det}P_{11}}[P_{11}]_{22}\frac{1}{\text{det}P_{11}}[P_{11}]_{11}}} = \frac{-[P_{11}]_{12}}{\sqrt{[P_{11}]_{22}[P_{11}]_{11}}}$

Po C.
źródło

Jeśli pozwolimy i=j, to rho_ii V\{X_i, X_i} = -1w jaki sposób interpretujemy te diagonalne elementy w macierzy dokładności?

Jason

Słuszna uwaga. Ta formuła powinna być poprawna tylko dla i = / = j. Z dowodu znak minus pochodzi z inwersji macierzy 2 na 2. Nie byłoby tak, gdyby i = j.

Po C.

Tak więc liczb ukośnych nie można powiązać z częściową korelacją. Co oni reprezentują? To nie są tylko odwrotności wariancji, prawda?

Jason

Ta formuła obowiązuje dla i = / = j. Jest to bez znaczenia dla i = j.

Po C.

$X_i$ $X_j$ $n - 1$ $X_i$ $X_j$ $n - 2$ $\epsilon_i$ $\epsilon_j$ $\rho$ $\epsilon_i$ $\epsilon_j$ $-\rho$

To wyjaśnia zamieszanie w powyższych komentarzach, a także w Wikipedii. Druga definicja jest powszechnie stosowana z tego, co mogę powiedzieć, więc powinien istnieć znak ujemny.

Pierwotnie opublikowałem edycję drugiej odpowiedzi, ale popełniłem błąd - przepraszam za to!

Johnny Ho
źródło