Rozkład wartości pojedynczej (SVD) macierzy jest podany przez gdzie i są macierzami ortogonalnymi, a jest macierzą diagonalną. ZA A A = U S V ⊤ A=USV⊤ U U V. V S. S
Analiza głównego składnika (PCA) jest zwykle wyjaśniana za pomocą rozkładu własnego macierzy kowariancji. Jednakże, można także przeprowadzić za pomocą rozkładu wartości pojedyncza (SVD) macierzy danych . Jak to działa? Jaki jest związek między tymi dwoma podejściami? Jaki jest związek między SVD a...
Do zmniejszenia wymiarów można zastosować analizę głównych składników (PCA). Po przeprowadzeniu takiej redukcji wymiarowości, w jaki sposób można w przybliżeniu zrekonstruować oryginalne zmienne / cechy z niewielkiej liczby głównych składników? Alternatywnie, w jaki sposób można usunąć lub...
Zaczynam bawić sięglmnet za pomocą regresji LASSO, gdzie moje wyniki zainteresowania są dychotomiczne. Poniżej utworzyłem małą próbną ramkę danych: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29,...
Czytałem o rozkładzie wartości pojedynczej (SVD). W prawie wszystkich podręcznikach wspomniano, że rozkłada macierz na trzy macierze o podanej specyfikacji. Ale jaka jest intuicja dzielenia macierzy w takiej formie? PCA i inne algorytmy redukcji wymiarów są intuicyjne w tym sensie, że algorytm ma...
Biplot jest często używany do wyświetlania wyników analizy głównych składników (i powiązanych technik). Jest to podwójny lub nakładkowy wykres rozrzutu pokazujący obciążenia komponentów i oceny komponentów jednocześnie. @Amoeba poinformował mnie dzisiaj, że udzielił odpowiedzi odbiegającej od...
Czy ktoś może polecić dobre przedstawienie teorii stojącej za częściową regresją najmniejszych kwadratów (dostępną online) dla kogoś, kto rozumie SVD i PCA? Przejrzałem wiele źródeł online i nie znalazłem niczego, co miałoby właściwe połączenie rygorystyczności i dostępności. Przyjrzałem się...
/ edit: Dalsze działania teraz możesz użyć irlba :: prcomp_irlba / edit: śledzenie mojego własnego posta. irlbama teraz argumenty „środkowy” i „skalowany”, które pozwalają go używać do obliczania podstawowych składników, np .: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M),...
Jaką różnicę ma centrowanie (lub odznaczanie) danych w przypadku PCA? Słyszałem, że ułatwia to matematykę lub zapobiega zdominowaniu pierwszego komputera przez zmienne, ale wydaje mi się, że nie byłem jeszcze w stanie zrozumieć tej koncepcji. Na przykład najlepsza odpowiedź tutaj W jaki sposób...
Jestem trochę zdezorientowany tym, w jaki sposób SVD jest używane do wspólnego filtrowania. Załóżmy, że mam wykres społecznościowy i buduję macierz przylegania z krawędzi, a następnie biorę SVD (zapomnijmy o regularyzacji, wskaźnikach uczenia się, optymalizacjach sparityzacji itp.), W jaki sposób...
Studiuję PCA z kursu Andrew Ng Coursera i innych materiałów. W pierwszym zadaniu cs224n na kursie NLP w Stanford oraz w filmie wykładowym Andrew Ng dokonują dekompozycji wartości pojedynczej zamiast dekompozycji wektorów własnych macierzy kowariancji, a Ng twierdzi nawet, że SVD jest liczbowo...
Usiłuję tylko powtórzyć twierdzenie przedstawione w poniższym artykule Finding Correlated Biclusters z Gene Expression Data , czyli: Twierdzenie 4. Jeśli . Następnie mamy:Xjajot= RjadoT.jotXIJ=RICJTX_{IJ}=R_{I}C^{T}_{J} ja. Jeśli jest idealnym biclusterem z modelem addytywnym, to jest...
Jaki jest najlepszy sposób obliczenia dekompozycji wartości pojedynczej (SVD) bardzo dużej macierzy dodatniej (65 M x 3,4 M), w której dane są bardzo rzadkie? Mniej niż 0,1% matrycy jest niezerowe. Potrzebuję sposobu, który: zmieści się w pamięci (wiem, że istnieją metody online) zostaną...
Użyłem liniowej analizy dyskryminacyjnej (LDA) z scikit-learnbiblioteki uczenia maszynowego (Python) do redukcji wymiarów i byłem trochę ciekawy wyników. Zastanawiam się teraz, czym scikit-learnzajmuje się LDA, aby wyniki wyglądały inaczej niż np. Ręczne podejście lub LDA wykonane w R. Byłoby...
Mam macierz korelacji zwrotów bezpieczeństwa, których wyznacznikiem jest zero. (Jest to nieco zaskakujące, ponieważ macierz korelacji próbki i odpowiadająca jej macierz kowariancji powinny teoretycznie być określone dodatnio). Moja hipoteza jest taka, że co najmniej jedno zabezpieczenie jest...
Biorąc pod uwagę aproksymację PCA (lub SVD) macierzy z macierzą , wiemy, że jest najlepszym przybliżeniem niskiej rangi .XXX X XX^X^\hat XX^X^\hat XXXX Czy jest to zgodne z indukowaną normą∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (tj. Największą normą wartości własnej), czy zgodnie z normą Frobenius...
Badam różne techniki stosowane w grupowaniu dokumentów i chciałbym wyjaśnić pewne wątpliwości dotyczące PCA (analiza głównego składnika) i LSA (utajona analiza semantyczna). Po pierwsze - jakie są między nimi różnice? Wiem, że w PCA rozkład SVD jest stosowany do macierzy kowariancji terminów,...
To pytanie dotyczy skutecznego sposobu obliczania głównych składników. Wiele tekstów na temat liniowego PCA opowiada się za dekompozycją danych w liczbie pojedynczej . Oznacza to, że jeśli mamy dane i chcemy zastąpić zmienne (jego kolumny ) głównymi składnikami, wykonujemy SVD: , wartości...
Natknąłem się na scenariusz, w którym mam 10 sygnałów / osobę na 10 osób (czyli 100 próbek) zawierających 14000 punktów danych (wymiarów), które muszę przekazać klasyfikatorowi. Chciałbym zmniejszyć wymiarowość tych danych, a PCA wydaje się być na to dobrym sposobem. Jednak udało mi się znaleźć...
Obserwuję bardzo dziwne zachowanie w wynikach losowych danych SVD, które mogę odtworzyć zarówno w Matlabie, jak i R. Wygląda to na jakiś problem numeryczny w bibliotece LAPACK; czy to jest Rysuję próbek z wymiarowego Gaussa z zerową średnią i kowariancją tożsamości: . I zamontować je w dane...
W filtrowaniu grupowym mamy wartości, które nie są wypełnione. Załóżmy, że użytkownik nie obejrzał filmu, a następnie musimy wstawić „na”. Jeśli mam wziąć SVD tej macierzy, muszę tam wstawić pewną liczbę - powiedz 0. Teraz, jeśli podzielę macierz na czynniki pierwsze, mam metodę znalezienia...