Jak interpretować odwrotną macierz kowariancji lub precyzji?

64

Zastanawiałem się, czy ktoś mógłby wskazać mi jakieś odniesienia, które omawiają interpretację elementów odwrotnej macierzy kowariancji, znanej również jako matryca koncentracji lub macierz precyzji.

Mam dostęp do zależności wielowymiarowych Coxa i Wermutha , ale szukam interpretacji każdego elementu w macierzy odwrotnej. Wikipedia stwierdza : „Elementy macierzy dokładności mają interpretację w kategoriach częściowych korelacji i częściowych wariancji”, co prowadzi mnie do tej strony. Czy istnieje interpretacja bez regresji liniowej? IE pod względem kowariancji lub geometrii?

Vinh Nguyen
źródło
4
przeczytałeś całą stronę Wikipedii? Istnieje rozdział dotyczący geometrii i niezależności warunkowej dla rozkładu normalnego. Możesz znaleźć więcej w tej książce .
NRH
@NRH Geometria jest wyjaśniona na stronie częściowej korelacji, której nawet nie jestem jeszcze pewien, jak odnosi się do macierzy stężenia. Czy ta książka modeli graficznych zawiera wyjaśnienie elementów macierzy stężenia? Dzięki!
Vinh Nguyen
patrz odpowiedź poniżej.
NRH

Odpowiedzi:

34

W zasadzie należy powiedzieć dwie rzeczy. Po pierwsze, jeśli spojrzysz na gęstość dla wielowymiarowego rozkładu normalnego (ze średnią tutaj 0), jest on proporcjonalny do gdzie jest odwrotnością macierzy kowariancji, zwanej także precyzją. Matryca ta jest określony dodatni i określa za pomocą jest wewnętrzny produkt o . Powstała geometria, która nadaje określone znaczenie koncepcji ortogonalności i definiuje normę związaną z rozkładem normalnym, jest ważna i aby zrozumieć, na przykład, geometryczną zawartość LDA , należy patrzeć na rzeczy w świetle podanej geometrii przezP=Σ-1(x,y)xTPyRpP

exp(12xTPx)
P=Σ1
(x,y)xTPy
RpP .

Inną rzeczą do powiedzenia jest to, że częściowe korelacje można odczytać bezpośrednio z , patrz tutaj . Ta sama strona Wikipedii podaje, że częściowe korelacje, a zatem wpisy , mają interpretację geometryczną w kategoriach cosinus do kąta. Być może ważniejsze w kontekście korelacji cząstkowych jest to, że częściowa korelacja między a wynosi 0, jeśli tylko wtedy, gdy pozycja w wynosi zero. Dla rozkładu normalnego zmienne i są wówczas warunkowo niezależneP X i X j i , j P X i X jPPXiXji,jPXiXjbiorąc pod uwagę wszystkie inne zmienne. O to właśnie chodzi w książce Steffensa, o której wspomniałem w powyższym komentarzu. Warunkowa niezależność i modele graficzne. Ma dość kompletne podejście do rozkładu normalnego, ale może nie być takie łatwe.

NRH
źródło
1
pijpiipjj
1
@ Sh3ljohn, masz całkowitą rację. W formule Wikipedii brakuje minusa.
NRH
Czy pierwsza odpowiedź tak naprawdę nie mówi więcej o informacji Fishera niż matrycy precyzji? Mam na myśli, że pokrywają się w naprawdę wyjątkowym / ładnym przypadku Gaussa, ale ogólnie nie pokrywają się. Oczywiście te dwa pojęcia są ze sobą powiązane (dolna granica Cramer-Rao, asymptotyczny rozkład MLE itp.), Ale ich łączenie nie wydaje się pomocne (konkretnie doszedłem do tego pytania, szukając jego pytania o to, jak odróżnić informacje Fishera od odwrotna macierz korelacji).
Chill2Macht,
24

Podoba mi się ten probabilistyczny model graficzny, aby zilustrować punkt NRH, że częściowa korelacja wynosi zero wtedy i tylko wtedy, gdy X jest warunkowo niezależny od Y, biorąc pod uwagę Z, przy założeniu, że wszystkie zaangażowane zmienne są wielowymiarowe Gaussa (właściwość nie zachowuje się w ogólnym przypadku) :

wprowadź opis zdjęcia tutaj

yi

Źródło: przemówienie Davida MacKaya na temat Gaussian Process Basics , 25. minuta.

Franck Dernoncourt
źródło
12

Interpretacja oparta na korelacjach cząstkowych jest prawdopodobnie najbardziej użyteczna statystycznie, ponieważ dotyczy wszystkich rozkładów wielowymiarowych. W szczególnym przypadku wielowymiarowego rozkładu normalnego zerowa korelacja częściowa odpowiada warunkowej niezależności.

Można wyprowadzić tę interpretację za pomocą dopełniacza Schur, aby uzyskać wzór na wpisy macierzy stężenia w kategoriach wpisów macierzy kowariancji. Zobacz http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

vqv
źródło
11

Macierz kowariancji może reprezentować relację między wszystkimi zmiennymi, podczas gdy odwrotna kowariancja, podważa relację elementu z ich sąsiadami (jak wikipedia podała relację częściową / parą).

Pożyczam następujący przykład stąd w 24:10, wyobrażam sobie, że 5 mas jest połączonych ze sobą i samogłoskowych z 6 sprężynami, macierz kowariancji zawiera korelację wszystkich mas, jeśli jedna pójdzie dobrze, inne też mogą pójść dobrze. ale odwrotna macierz kowariancji przedstawia relację tych mas, które są połączone tą samą sprężyną (sąsiedzi) i zawiera wiele zer i nie jest koniecznie dodatnia.

użytkownik4581
źródło
1
Gdzie to wyjaśniono w filmie? To godzina. Dzięki!
Vinh Nguyen
masz rację, jest 24:10, myślę, że to najlepszy przykład na zrozumienie natury macierzy cov i jej odwrotności
użytkownik4581
5

Bar-Shalom i Fortmann (1988) wspominają o odwrotnej kowariancji w kontekście filtrowania Kalmana w następujący sposób:

... [T] tutaj jest rekurencja dla odwrotnej kowariancji (lub matrycy informacyjnej )

P1(k+1|k+1)=P1(k+1|k)+H(k+1)R1(k+1)H(k+1)

P1x^

Książka jest indeksowana w Google .

Jasna gwiazda
źródło