Jakie są odległości między zmiennymi tworzącymi macierz kowariancji?

11

Mam macierzy kowariancji i chcę podzielić zmienne na klastrów za pomocą hierarchicznego grupowania (na przykład, aby posortować macierz kowariancji).kn×nk

Czy istnieje typowa funkcja odległości między zmiennymi (tj. Między kolumnami / rzędami kwadratowej macierzy kowariancji)?

A jeśli jest ich więcej, czy istnieje dobre odniesienie do tematu?

Piotr Migdal
źródło
Dlaczego miałbyś chcieć używać hierarchicznego grupowania zmiennych? Ogólnie myślimy o macierzy danych , w / zmiennych w kolumnach i obserwacjach w wierszach. Jeśli chcesz szukać ugrupowań utajonych, można spróbować np hierarchiczne grupowanie na wiersze / obserwacje, lub, na przykład, analizy czynnikowej na kolumnach / zmiennych. X
gung - Przywróć Monikę
@Piotr, Tak, kowariancję (lub korelację lub cosinus) można łatwo i naturalnie przekształcić w odległość euklidesową, ponieważ jest to iloczyn skalarny (= podobieństwo typu kątowego). Znajomość kowariancji między dwiema zmiennymi, a także ich wariancji, automatycznie oznacza znajomość d między zmiennymi: . d2=σ12+σ222cov
ttnphns
Zauważ, że ta formuła oznacza, że ​​kowariancja ujemna to większa odległość niż kowariancja dodatnia (i rzeczywiście tak jest z geometrycznego punktu widzenia). Jeśli nie chcesz, aby znak kowariancji grał rolę, zlikwiduj znak ujemny.
ttnphns
@gung Jest to macierz symetryczna, więc wiersze ~ kolumny. Dla mnie bardzo ważne jest podzielenie go na zestawy zmiennych, a nie „obracanie” ich analizą czynnikową (w rzeczywistości nie pracuję ze standardową macierzą kowariancji, ale złożoną (macierz gęstości w mechanice kwantowej)).
Piotr Migdal
@ttnphns Thanks. Niepokoi mnie to, że chcę oddzielić zmienne nieskorelowane - korelacja ujemna jest dla mnie (prawie) tak dobra jak dodatnia.
Piotr Migdal

Odpowiedzi:

13

Kowariancję (lub korelację lub cosinus) można łatwo i naturalnie przekształcić w odległość euklidesową za pomocą prawa cosinusa , ponieważ jest to iloczyn skalarny (= podobieństwo oparte na kątach) w przestrzeni euklidesowej. Znajomość kowariancji między dwiema zmiennymi i i j, a także ich wariancji automatycznie oznacza znajomość d między zmiennymi: . (To jest wprost proporcjonalne do zwykłej kwadratowej odległości euklidesowej d 2 i jdij2=σi2+σj22covijdij2: otrzymujesz to drugie, jeśli zamiast wariancji i kowariancji użyjesz sum kwadratów i sumy krzyżowych produktów. Obie zmienne powinny być oczywiście początkowo wyśrodkowane: mówienie o „kowariancjach” jest aliasem do myślenia o danych z usuniętymi środkami).

Zauważ, że ta formuła oznacza, że ​​kowariancja ujemna jest większa od odległości kowariancji dodatniej (i rzeczywiście tak jest z geometrycznego punktu widzenia, tj. Kiedy zmienne są postrzegane jako wektory w przestrzeni przedmiotowej ). Jeśli nie chcesz, aby znak kowariancji grał rolę, zlikwiduj znak ujemny. Ignorowanie znaku ujemnego nie jest operacją „łatania ręcznie” i jest uzasadnione, gdy jest to potrzebne: jeśli macierz cov jest dodatnia, dodatnia, macierz abs (cov) również będzie dodatnia; a tym samym odległości uzyskane w powyższym wzorze będą prawdziwymi euklidesowa odległości (odległość euklidesowa stanowi szczególny rodzaj metryki odległość).

Odległości euklidesowe są uniwersalne w odniesieniu do hierarchicznego grupowania : każda metoda takiego grupowania jest ważna dla euklidesowego lub kwadratowego euklidesowego d . Ale niektóre metody, np. Średnie połączenie lub całkowite połączenie, mogą być stosowane z dowolną podobieństwem lub podobieństwem (nie tylko odległościami metrycznymi). Możesz więc zastosować takie metody bezpośrednio z macierzą odległości cov lub abs (cov) lub - na przykład - z macierzą odległości max (abs (cov)) - abs (cov) . Oczywiście wyniki grupowania potencjalnie zależą od dokładnej natury zastosowanego (nie) podobieństwa.

ttnphns
źródło
Jak definiujesz ? Odkryłem, że jest to równe wartości oczekiwanej kwadratowej odległości między dwiema zmiennymi stochastycznymi, jeśli obie zmienne mają tę samą średnią, ale nie, jeśli mają inną średnią (wtedy będzie mniejszy). d 2 i jdij2dij2
HelloGoodbye,
@HelloGoodbye, tak, sugeruję dwie zmienne (wektory) o równych środkach - w rzeczywistości, po usunięciu średnich, w pierwszej kolejności.
ttnphns
3

Dlaczego nie wykorzystać macierzy korelacji do tworzenia klastrów? Zakładając, że zmienne losowe są wyśrodkowane, obliczając korelację między zmiennymi, obliczasz odległość podobieństwa cosinus . Ta odległość jest również podana w twoim linku. Tę odległość można wykorzystać do hierarchicznego grupowania. Im mniejsze podobieństwo 1 - | cosinus |, tym bardziej podobne są twoje zmienne.

Jorge Banuelos
źródło
A ich właściwości? Nie mam problemu z przyjściem z pewnymi odległościami (np. , lub jednym faktycznie takim samym jak cosinus dist., Lub niektóre związane z prognozami dotyczącymi wektorów własnych). Po prostu chcę to zrobić w sposób wykształcony, dostosowany do matrycy kowariancji. re(ja,jot)=1-ZAjajot2)/(ZAjajaZAjotjot)
Piotr Migdal
3
Przepraszam za nieporozumienie. Najlepszym źródłem, jakie znam, jest to . Badają jakość kilku metryk (wykorzystujących korelację) z hierarchicznym klastrowaniem. W przypadku hierarchicznego grupowania zwykle próbuję wielu wskaźników i sprawdzam, które z nich najlepiej pasują do mojego konkretnego celu i danych.
Jorge Banuelos,
link wydaje się już nie działać?
Matifou