Dziedzina matematyki zajmująca się badaniem skończonych wymiarowych przestrzeni wektorowych, w tym macierzy i ich manipulacji, które są ważne w statystyce.
Zauważyłem ostatnio, że wiele osób opracowuje ekwiwalenty tensora wielu metod (faktoryzacja tensora, jądra tensora, tensory do modelowania tematów itp.) Zastanawiam się, dlaczego świat jest nagle zafascynowany tensorami? Czy pojawiły się ostatnio ostatnie artykuły / standardowe wyniki, które są...
Pracowałem trochę w R i miałem do czynienia z takimi rzeczami, jak PCA, SVD, rozkład QR i wiele innych wyników algebry liniowej (podczas sprawdzania szacowania ważonych regresji itp.), Więc chciałem wiedzieć, czy ktoś ma zalecenie dotyczące dobrego obszerna książka o algebrze liniowej, która nie...
Dużo czytałem o PCA, w tym różne tutoriale i pytania (takie jak ten , ten , ten i ten ). Geometryczny problem, który PCA próbuje zoptymalizować, jest dla mnie jasny: PCA próbuje znaleźć pierwszy główny składnik, minimalizując błąd rekonstrukcji (projekcji), który jednocześnie maksymalizuje...
Czytałem o rozkładzie wartości pojedynczej (SVD). W prawie wszystkich podręcznikach wspomniano, że rozkłada macierz na trzy macierze o podanej specyfikacji. Ale jaka jest intuicja dzielenia macierzy w takiej formie? PCA i inne algorytmy redukcji wymiarów są intuicyjne w tym sensie, że algorytm ma...
Myślę, że odpowiedź powinna brzmieć „tak”, ale nadal czuję, że coś jest nie tak. W literaturze powinny być jakieś ogólne wyniki, czy ktoś mógłby mi
Słyszałem, że częściowe korelacje między zmiennymi losowymi można znaleźć, odwracając macierz kowariancji i pobierając odpowiednie komórki z takiej wynikowej macierzy precyzji (fakt ten jest wspomniany w http://en.wikipedia.org/wiki/Partial_correlation , ale bez dowodu) . Dlaczego tak...
Powiedzmy, że mam wymiarowy wielowymiarowy rozkład Gaussa. Biorę obserwacji (każdy z nich -vector), z tego rozkładu i obliczyć próbki kowariancji . W tym artykule autorzy stwierdzają, że macierz kowariancji próbki obliczona za pomocą jest pojedynczą.pppnnnpppSSSp>np>np > n Jak to jest...
Studiuję PCA z kursu Andrew Ng Coursera i innych materiałów. W pierwszym zadaniu cs224n na kursie NLP w Stanford oraz w filmie wykładowym Andrew Ng dokonują dekompozycji wartości pojedynczej zamiast dekompozycji wektorów własnych macierzy kowariancji, a Ng twierdzi nawet, że SVD jest liczbowo...
Jeśli i są dwoma niezależnymi wektorami jednostek losowych w (równomiernie rozmieszczonymi na kuli jednostkowej), jaki jest rozkład ich iloczynu skalarnego (iloczyn skalarny) ?xx\mathbf{x}yy\mathbf{y}RreRD\mathbb{R}^Dx ⋅ yx⋅y\mathbf x \cdot \mathbf y Wydaje mi się, że gdy szybko rośnie rozkład (?)...
Obserwuję bardzo dziwne zachowanie w wynikach losowych danych SVD, które mogę odtworzyć zarówno w Matlabie, jak i R. Wygląda to na jakiś problem numeryczny w bibliotece LAPACK; czy to jest Rysuję próbek z wymiarowego Gaussa z zerową średnią i kowariancją tożsamości: . I zamontować je w dane...
Znam definicję macierzy symetrycznej dodatniej określonej (SPD), ale chcę zrozumieć więcej. Dlaczego są tak ważne, intuicyjnie? Oto co wiem. Co jeszcze? Dla danych danych macierzą współwariancji jest SPD. Macierz współwariancji jest ważnym miernikiem, zobacz ten doskonały post dla intuicyjnego...
Próbuję uzyskać intuicyjne zrozumienie działania analizy głównych składników (PCA) w przestrzeni przedmiotowej (podwójnej) . Rozważ zestaw danych 2D z dwiema zmiennymi, x1x1x_1 i x2x2x_2 oraz punktami danych (macierz danych wynosi i zakłada się, że jest wyśrodkowana). Typowa prezentacja PCA polega...
To bardzo proste pytanie, ale nie mogę znaleźć pochodnej nigdzie w Internecie ani w książce. Chciałbym zobaczyć pochodną tego, jak jeden Bayesian aktualizuje wielowymiarowy rozkład normalny. Na przykład: wyobraź sobie to P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0)....
Niech . Matrycę informacji Fisher definiuje się jako:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Jak mogę udowodnić, że...
Chcę przekształcić moje dane tak, aby wariancje były równe jeden, a kowariancje były równe zero (tzn. Chcę wybielić dane). Ponadto średnie powinny wynosić zero.XX\mathbf X Wiem, że się tam dostanę, wykonując standaryzację Z i transformację PCA, ale w jakiej kolejności mam to zrobić? Powinienem...
Załóżmy, że mam gęstą macierz o rozmiarze m × n , z rozkładem SVD A = U S V ⊤ . W mogę obliczyć SVD w następujący sposób: .AA \textbf{A}m×nm×nm \times nA=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) Jeśli nowy -ty wiersz zostanie dodany do A , czy można obliczyć nowy rozkład SVD na podstawie...
Jak stwierdzono w tym pytaniu, maksymalna ranga macierzy kowariancji wynosi n−1n−1n-1 gdzie nnn jest rozmiarem próbki, a więc jeśli wymiar macierzy kowariancji jest równy wielkości próbki, byłby liczbą pojedynczą. Nie mogę zrozumieć, dlaczego mamy odjąć 111 od maksymalnej rangi nnn macierzy...
W przypadku normy wektorowej powszechnie stosowaną i intuicyjną definicją jest norma L2 lub „odległość euklidesowa”. Ale dlaczego „najczęściej stosowana” lub „domyślna” definicja normy dla macierzy jest normą spektralną , a nie normą Frobeniusa (która jest podobna do normy L2 dla wektorów)? Czy ma...
Powiedzmy, że mamy X kształtu (2, 5) iy kształtu (2,) To działa: np.linalg.lstsq(X, y) Spodziewalibyśmy się, że zadziała to tylko wtedy, gdy X będzie miał kształt (N, 5), gdzie N> = 5 Ale dlaczego i jak? Odzyskujemy 5 wag zgodnie z oczekiwaniami, ale jak rozwiązać ten problem? Czy to nie...
Rozważ następujący dwupłat PCA: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) Zostało narysowanych kilka czerwonych strzałek, co one oznaczają? Wiedziałem, że pierwsza strzałka oznaczona...