Co mówi odwrotność macierzy kowariancji o danych? (Intuicyjnie)

46

Jestem ciekawy natury Σ1 . Czy ktoś może powiedzieć coś intuicyjnego na temat „Co Σ1 mówi o danych?”

Edytować:

Dziękuję za odpowiedzi

Po wzięciu świetnych kursów chciałbym dodać kilka punktów:

  1. Jest to miara informacji, tj. to ilość informacji wzdłuż kierunku x .xTΣ1xx
  2. Dwoistość: Od jest dodatnio określona, więc jest Σ - 1 , więc one są normy dot-produktów, a dokładniej są podwójne normy siebie, więc możemy czerpać Fenchel Podwójny za uregulowana problemu najmniejszych kwadratów, a nie maksymalizację wrt podwójny problem. Możemy wybrać jeden z nich, w zależności od ich uwarunkowania.ΣΣ1
  3. Przestrzeń Hilberta: Kolumny (i rzędy) Σ1 i Σ obejmują to samo miejsce. Zatem nie ma żadnej przewagi (innej niż gdy jedna z tych macierzy jest źle uwarunkowana) między reprezentacją za pomocą Σ1 lub Σ
  4. Σ1Σ10
  5. Statystyki częstokroć: Jest ściśle związane z informacjami Fishera, z wykorzystaniem powiązań Cramér – Rao. W rzeczywistości macierz informacji Fishera (zewnętrzny produkt gradientu prawdopodobieństwa logarytmu z samym sobą) jest związana przez Craméra – Rao, tj. (wrt dodatni półokreślony stożek, stężenie iewrt elipsoidy). Kiedy więc estymator maksymalnego prawdopodobieństwa jest skuteczny, tj. W danych istnieje maksymalna informacja, więc częstość reżimu optymistycznego jest optymalna. Mówiąc prościej, w przypadku niektórych funkcji prawdopodobieństwa (zauważ, że funkcjonalna forma prawdopodobieństwa zależy wyłącznie od modelu probablistycznego, który rzekomo wygenerował dane, czyli model generatywny), maksymalne prawdopodobieństwo jest wydajnym i spójnym estymatorem, rządzącym jak szef. (przepraszam za przekroczenie tego)Σ1FΣ1=F
Arya
źródło
3
Myślę, że PCA podnosi wektor własny z dużymi wartościami własnymi, a nie z małymi wartościami własnymi.
wdg
2
(3) Jest niepoprawny, ponieważ jest równoznaczny z zapewnieniem kolumn to kolumny (do permutacji), co jest prawdą tylko w przypadku matrycy tożsamości. Σ1Σ
whuber

Odpowiedzi:

15

Jest to miara precyzji, podobnie jak jest miarą dyspersji.Σ

Mówiąc dokładniej, jest miarą tego, w jaki sposób zmienne są rozproszone wokół średniej (elementy diagonalne) i jak różnią się one z innymi zmiennymi (elementami poza diagonalnymi). Im bardziej dyspersja, tym bardziej oddalają się od średniej i im bardziej różnią się (w wartości bezwzględnej) z innymi zmiennymi, tym silniejsza jest ich tendencja do „wspólnego przemieszczania się” (w tym samym lub przeciwnym kierunku w zależności od znak kowariancji).Σ

Podobnie, jest miarą tego, jak ciasno skupione są zmienne wokół średniej (elementy diagonalne) i stopień, w jakim nie różnią się one razem z innymi zmiennymi (elementy nie-diagonalne). Zatem im wyższy element przekątny, tym ciaśniej zmienna jest skupiona wokół średniej. Interpretacja elementów nie przekątnych jest bardziej subtelna i odsyłam do innych odpowiedzi dotyczących tej interpretacji.Σ1

rekwizyt
źródło
3
Silny kontrprzykład na twoje ostatnie stwierdzenie o elementach o przekątnej w jest zapewniony przez najprostszy nietrywialny przykład w dwóch wymiarach, Większe wartości nie przekątne odpowiadają bardziej ekstremalnym wartościom współczynnika korelacji co jest przeciwieństwem tego, co wydajesz się mówić. Σ1Σ1=(11ρ2ρ1ρ2ρ1ρ211ρ2).ρ,
whuber
@whuber Right. Powinienem pozbyć się słowa „absolutnego” w ostatnim zdaniu. Dzięki
prop
3
Dzięki, ale to wciąż nie rozwiązuje problemu: związek, który potwierdzasz, między pozagonowymi elementami odwrotności a ko-wariacją, nie istnieje.
whuber
@ whuber Myślę, że tak. W twoim przykładzie elementy poza przekątną są ujemne. Dlatego też, zwiększa elementów niediagonalnych zmniejszać. Możesz to sprawdzić, zauważając, że: w element nie przekątnej wynosi ; gdy zbliża się do zbliżają się elementy poziagonalne a pochodna elementu poziagonalnego względem jest ujemna. ρρ=00ρ1ρ
prop
2
Moje elementy poza przekątną są pozytywne, gdyρ<0.
whuber
17

Używając indeksów górnych do oznaczenia elementów odwrotnych, jest wariancją składnika zmiennej która jest nieskorelowana z innymi zmiennymi , i jest częściową korelacją zmiennych i , kontrolującą inne zmienne .1/σiiip1σij/σiiσjjijp2

Ray Koopman
źródło