W przypadku pytań dotyczących obliczania lub interpretacji wartości własnych lub wektorów własnych.
Badałem znaczenie dodatnich półokreślonych właściwości macierzy korelacji lub kowariancji. Szukam jakichkolwiek informacji na temat Definicja dodatniej półokreśloności; Jego ważne właściwości, praktyczne implikacje; Konsekwencja negatywnego wyznacznika, wpływ na analizę wielowymiarową lub...
Mam dziwne pytanie, kiedy eksperymentowałem z wypukłymi optymalizacjami. Pytanie brzmi: Załóżmy, że losowo (powiedzmy standardowy rozkład normalny) generuję macierz symetryczną (na przykład generuję górną macierz trójkątną i wypełniam dolną połowę, aby upewnić się, że jest symetryczna), jaka jest...
Jaką różnicę ma centrowanie (lub odznaczanie) danych w przypadku PCA? Słyszałem, że ułatwia to matematykę lub zapobiega zdominowaniu pierwszego komputera przez zmienne, ale wydaje mi się, że nie byłem jeszcze w stanie zrozumieć tej koncepcji. Na przykład najlepsza odpowiedź tutaj W jaki sposób...
Studiuję PCA z kursu Andrew Ng Coursera i innych materiałów. W pierwszym zadaniu cs224n na kursie NLP w Stanford oraz w filmie wykładowym Andrew Ng dokonują dekompozycji wartości pojedynczej zamiast dekompozycji wektorów własnych macierzy kowariancji, a Ng twierdzi nawet, że SVD jest liczbowo...
W PCA, gdy liczba wymiarów jest większa (lub nawet równa) liczbie próbek N , dlaczego jest tak, że będziesz mieć co najwyżej N - 1 niezerowe wektory własne? Innymi słowy, pozycja macierzy kowariancji wśród wymiarów d ≥ N wynosi N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Przykład: Twoje próbki to...
Patrząc na wektory własne macierzy kowariancji, otrzymujemy kierunki maksymalnej wariancji (pierwszy wektor własny to kierunek, w którym dane najbardziej się różnią itp.); nazywa się to analizą głównych składników (PCA). Zastanawiałem się, co to znaczy spojrzeć na wektory własne / wartości matrycy...
Moje pytanie dotyczy techniki obliczeniowej wykorzystywanej w geoR:::.negloglik.GRFlub geoR:::solve.geoR. W liniowym modelu mieszanym: gdzie i to odpowiednio efekty stałe i losowe. Ponadtoβ b Σ = cov ( Y )Y=Xβ+Zb+eY=Xβ+Zb+e Y=X\beta+Zb+e ββ\betabbbΣ=cov(Y)Σ=cov(Y)\Sigma=\text{cov}(Y) Podczas...
Próbuję dekomponować macierz kowariancji w oparciu o rzadki / gappy zestaw danych. Zauważam, że suma lambda (wyjaśniona wariancja), obliczona za pomocą svd, jest powiększana o coraz bardziej nieokreślone dane. Bez luk svdi eigenuzyskaj te same wyniki. Wydaje się, że tak się nie dzieje z...
Christopher Bishop pisze w swojej książce Pattern Recognition and Machine Learning dowód, że każdy kolejny główny składnik maksymalizuje wariancję projekcji do jednego wymiaru, po tym jak dane zostaną rzutowane do przestrzeni ortogonalnej na wcześniej wybrane komponenty. Inne pokazują podobne...
Mówię tu o macierzach korelacji Pearsona. Często słyszałem, że mówiono, że wszystkie macierze korelacji muszą być dodatnie półfinałowe. Rozumiem, że dodatnie określone macierze muszą mieć wartości własne , podczas gdy dodatnie semidkończone macierze muszą mieć wartości własne ≥ 0 . To sprawia, że...
Wiele podręczników statystycznych zapewnia intuicyjną ilustrację tego, czym są wektory własne macierzy kowariancji: Wektory u i z tworzą wektory własne (cóż, osie własne). To ma sens. Ale jedną rzeczą, która mnie myli, jest to, że wydobywamy wektory własne z macierzy korelacji , a nie z surowych...
Robię analizę Matlaba na danych MRI, gdzie wykonałem PCA na matrycy o wymiarach 10304x236, gdzie 10304 to liczba wokseli (traktuj je jako piksele), a 236 to liczba punktów czasowych. PCA daje mi 236 wartości własnych i powiązanych z nimi współczynników. Wszystko w porządku. Jednak, gdy nadchodzi...
Zakładając, że mam zestaw danych o wymiarach (np. ), dzięki czemu każdy wymiar to iid (alternatywnie każdy wymiar ) i niezależny od wzajemnie.dddd=20d=20d=20Xi∼U[0;1]Xi∼U[0;1]X_i \sim U[0;1]Xi∼N[0;1]Xi∼N[0;1]X_i \sim \mathcal N[0;1] Teraz rysuję losowy obiekt z tego zestawu danych i biorę...
Jaki jest związek między pierwszymi głównymi komponentami i średnią korelacją w macierzy korelacji? Na przykład w aplikacji empirycznej obserwuję, że średnia korelacja jest prawie taka sama jak stosunek wariancji pierwszego głównego składnika (pierwszej wartości własnej) do całkowitej wariancji...
Próbuję wykonać SVD ręcznie: m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) Ale ostatnia linia nie mwraca. Dlaczego? Wydaje się,...