Pytania oznaczone «dimensionality-reduction»

Analiza głównego składnika (PCA) jest zwykle wyjaśniana za pomocą rozkładu własnego macierzy kowariancji. Jednakże, można także przeprowadzić za pomocą rozkładu wartości pojedyncza (SVD) macierzy danych . Jak to działa? Jaki jest związek między tymi dwoma podejściami? Jaki jest związek między SVD a...

Do zmniejszenia wymiarów można zastosować analizę głównych składników (PCA). Po przeprowadzeniu takiej redukcji wymiarowości, w jaki sposób można w przybliżeniu zrekonstruować oryginalne zmienne / cechy z niewielkiej liczby głównych składników? Alternatywnie, w jaki sposób można usunąć lub...

Słyszałem wiele razy o przekleństwie wymiarowości, ale jakoś wciąż nie jestem w stanie zrozumieć tego pomysłu, wszystko jest mgliste. Czy ktoś może to wyjaśnić w najbardziej intuicyjny sposób, tak jak wyjaśniłbyś to dziecku, aby ja (i inni zdezorientowani jak ja) mogłem to zrozumieć na...

Ogólnie, co należy rozumieć przez powiedzenie, że część wariancji w analizie takiej jak PCA jest wyjaśniona przez pierwszy główny składnik? Czy ktoś może to wyjaśnić intuicyjnie, ale również podać dokładną matematyczną definicję tego, co oznacza „wyjaśniona wariancja” w kategoriach analizy głównego...

Jestem zdezorientowany co do wybielania ZCA i normalnego wybielania (które uzyskuje się poprzez podzielenie głównych składników przez pierwiastki kwadratowe wartości własnych PCA). Z tego co mi wiadomo, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf...

Jakie techniki są dostępne do zwijania (lub łączenia) wielu kategorii do kilku, w celu wykorzystania ich jako danych wejściowych (predyktorów) w modelu statystycznym? Rozważ zmienną taką jak kierunek studiów studenckich (dyscyplina wybrana przez studenta). Jest nieuporządkowany i kategoryczny,...

Chcę zmniejszyć wymiarowość układów wyższego rzędu i uchwycić większość kowariancji na polu najlepiej dwuwymiarowym lub jednowymiarowym. Rozumiem, że można to zrobić za pomocą analizy głównych składników, i używałem PCA w wielu scenariuszach. Jednak nigdy nie użyłem go z typami danych boolowskich i...

Cytując jednego z autorów: t-Distributed Stochastic Neighbor Embedding (t-SNE) to ( nagradzana ) technika redukcji wymiarowości, która szczególnie dobrze nadaje się do wizualizacji wysokowymiarowych zestawów danych. Brzmi więc całkiem nieźle, ale tak mówi Autor. Kolejny cytat autora (dotyczy:...

W ostatnim zadaniu powiedziano nam, abyśmy używali PCA na cyfrach MNIST, aby zmniejszyć wymiary z 64 (8 x 8 obrazów) do 2. Następnie musieliśmy grupować cyfry za pomocą Gaussian Mixture Model. PCA wykorzystujące tylko 2 główne komponenty nie daje wyraźnych klastrów, w wyniku czego model nie jest w...

Moje pytania Jaki jest intuicyjny powód wykonywania rotacji czynników w analizie czynnikowej (lub komponentach w PCA)? Rozumiem, że jeśli zmienne są prawie jednakowo ładowane w najlepszych komponentach (lub czynnikach), to oczywiście trudno jest odróżnić komponenty. W takim przypadku można użyć...

Kontekst : Chcę podzielić obszary mieszkalne miasta na grupy na podstawie ich cech społeczno-ekonomicznych, w tym gęstości zabudowy, gęstości zaludnienia, powierzchni zieleni, ceny mieszkań, liczby szkół / ośrodków zdrowia / ośrodków opieki dziennej itp. Chcę zrozumieć, na ile różnych grup można...

/ edit: Dalsze działania teraz możesz użyć irlba :: prcomp_irlba / edit: śledzenie mojego własnego posta. irlbama teraz argumenty „środkowy” i „skalowany”, które pozwalają go używać do obliczania podstawowych składników, np .: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M),...

Wyjaśnię mój problem na przykładzie. Załóżmy, że chcesz przewidzieć dochód danej osoby na podstawie niektórych atrybutów: {Wiek, płeć, kraj, region, miasto}. Masz taki zestaw danych szkoleniowych train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4,...

Mam macierz, w której (i, j) mówi mi, ile razy przeglądałem stronę j. Istnieje 27 000 osób i 95 000 stron. Chciałbym mieć garść „wymiarów” lub „aspektów” w przestrzeni stron, które odpowiadałyby zestawom stron często oglądanych razem. Moim ostatecznym celem jest wtedy, aby móc obliczyć, jak często...

Użyłem liniowej analizy dyskryminacyjnej (LDA) z scikit-learnbiblioteki uczenia maszynowego (Python) do redukcji wymiarów i byłem trochę ciekawy wyników. Zastanawiam się teraz, czym scikit-learnzajmuje się LDA, aby wyniki wyglądały inaczej niż np. Ręczne podejście lub LDA wykonane w R. Byłoby...

Załóżmy, że używam regresji . Dlaczego, wybierając najlepsze głównych składników , model zachowuje moc predykcyjną na ?Y∼XY∼XY \sim XkkkXXXYYY Rozumiem, że z punktu widzenia redukcji wymiarów / wyboru cech, jeśli są wektorami własnymi macierzy kowariancji X z najwyższymi wartościami własnymi k ,...

Próbuję zrozumieć różnice między metodami liniowej redukcji wymiarów (np. PCA) a metodami nieliniowymi (np. Izomapa). Nie do końca rozumiem, co oznacza (nie) liniowość w tym kontekście. Czytałem z Wikipedii, że Dla porównania, jeżeli PCA (algorytm liniowej redukcji wymiarów) zostanie...

Dużo czytałem o algorytmie sne do redukcji wymiarów. Jestem pod wielkim wrażeniem wydajności „klasycznych” zestawów danych, takich jak MNIST, w których osiąga wyraźne rozdzielenie cyfr ( patrz oryginalny artykuł ):ttt Użyłem go również do wizualizacji funkcji poznanych przez sieć neuronową,...

W PCA, gdy liczba wymiarów jest większa (lub nawet równa) liczbie próbek N , dlaczego jest tak, że będziesz mieć co najwyżej N - 1 niezerowe wektory własne? Innymi słowy, pozycja macierzy kowariancji wśród wymiarów d ≥ N wynosi N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Przykład: Twoje próbki to...

Czytałem Elementy uczenia statystycznego i nie mogłem zrozumieć, o co chodzi w rozdziale 3.7 „Skurcz i wybór wielu wyników”. Mówi o RRR (regresja o zmniejszonej rangi) i mogę jedynie zrozumieć, że założenie dotyczy uogólnionego wielowymiarowego modelu liniowego, w którym współczynniki są nieznane...