Odwrotna macierz kowariancji vs macierz kowariancji w PCA

10

Czy w PCA robi to różnicę, jeśli wybieramy główne składniki odwrotnej macierzy kowariancji LUB jeśli upuszczamy wektory własne macierzy kowariancji odpowiadające dużym wartościom własnym?

Jest to związane z dyskusją w tym poście .

Mustafa Arif
źródło

Odpowiedzi:

12

Zauważ, że dla dodatniej określonej macierzy kowariancji dokładność wynosi Σ - 1 = U D - 1 U .Σ=UreUΣ-1=Ure-1U

Wektory własne pozostają więc takie same, ale wartości własne precyzji są odwrotnością wartości własnych kowariancji. Oznacza to, że największe wartości własne kowariancji będą najmniejszymi wartościami własnymi precyzji. Ponieważ masz odwrotność, dodatnia definitywność gwarantuje, że wszystkie wartości własne są większe od zera.

Dlatego jeśli zachowasz wektory własne związane z najmniejszymi wartościami własnymi precyzji, odpowiada to zwykłemu PCA. Ponieważ już wzięliśmy odwzajemnienie ( D - 1 ), do zakończenia wybielania transformowanych danych należy stosować tylko pierwiastek kwadratowy z precyzyjnych wartości własnych.kre-1

przypuszczenia
źródło
+1, ale myślę, że twoje zdanie „Więc tak, robi różnicę” może być mylące dla OP; Q nie jest bardzo jasne, ale myślę, że pytali, czy istnieje różnica między wyborem największych wartości własnych macierzy inv cov a wyborem najmniejszych wartości własnych (= usunięcie największych) macierzy cov. Na to pytanie odpowiedź jest równoważna. Być może więc, jeśli po prostu wytniesz to zdanie, odpowiedź będzie wyraźniejsza.
ameba
Dzięki, rozumiem o co ci chodzi i odpowiednio je zredagowałem.
przypuszcza
Właściwie ostatnie zdanie było dobre, zatrzymałbym je!
ameba
@conjectures Dziękuję, to idealne wyjaśnienie.
Mustafa Arif
0

Ponadto macierz odwrotnej kowariancji jest proporcjonalna do częściowej korelacji między wektorami:

Corr(Xi, Xj | (Xothers )

Korelacja między Xi i Xj, gdy wszystkie inne są ustalone, jest bardzo przydatna w szeregach czasowych.

quantCode
źródło
1
To prawda, ale co to ma wspólnego z PCA?
ameba