Miara odległości między rozkładami lub zmiennymi, taka jak odległość euklidesowa między punktami w n-przestrzeni.
Studiuję rozpoznawanie wzorców i statystyki i prawie każdą książkę, którą otwieram na ten temat, wpadam na pojęcie odległości Mahalanobisa . Książki zawierają intuicyjne wyjaśnienia, ale wciąż nie są wystarczająco dobre, aby naprawdę zrozumieć, co się dzieje. Gdyby ktoś zapytał mnie: „Jaka jest...
Zaczynam bawić sięglmnet za pomocą regresji LASSO, gdzie moje wyniki zainteresowania są dychotomiczne. Poniżej utworzyłem małą próbną ramkę danych: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29,...
Dowiedziałem się o intuicji stojącej za dywergencją KL, jak bardzo funkcja rozkładu modelu różni się od teoretycznego / prawdziwego rozkładu danych. Źródłem Czytam mówi dalej, że intuicyjne rozumienie „odległość” między tymi dwoma dystrybucjami jest pomocny, ale nie powinny być brane dosłownie, bo...
Czy ktoś wie, jak sprawdzić, czy punkty 7, 16 i 29 są punktami wpływowymi, czy nie? Czytałem gdzieś, że ponieważ odległość Cooka jest mniejsza niż 1, nie są. Czy mam rację?
Wykonuję hierarchiczne grupowanie danych zebranych i przetworzonych ze zrzutu danych reddit w Google BigQuery. Mój proces jest następujący: Pobierz najnowsze 1000 postów w / r / politics Zbierz wszystkie komentarze Przetwarzaj dane i oblicz n x mmacierz danych (n: users / samples, m: posts /...
Identyczne ten sposób, że spowoduje to identyczne wyniki dla podobieństwa kolejności pomiędzy wektorem u i zestaw wektorów V . Mam model przestrzeni wektorowej, który ma parametry pomiaru odległości (odległość euklidesowa, podobieństwo cosinusa) i techniki normalizacji (brak, l1, l2) jako...
W algorytmie Losowy las Breiman (autor) konstruuje macierz podobieństwa w następujący sposób: Wyślij wszystkie przykłady uczenia się w dół każdego drzewa w lesie Jeśli dwa przykłady wylądują w tym samym przyrostu liścia, odpowiedni element w macierzy podobieństwa o 1 Normalizuj matrycę z liczbą...
Test Mantela jest zwykle stosowany do symetrycznych macierzy odległości / różnic. O ile rozumiem, założeniem testu jest to, że miarą używaną do definiowania różnic musi być co najmniej półmetryka (spełniać standardowe wymagania metryki, ale nie nierówność trójkąta). Czy założenie symetrii może być...
Czy istnieje formuła zamknięta dla (lub pewnego rodzaju powiązania) EMD między i ?x 2 ∼ N ( μ 2 , Σ 2 )x1∼N(μ1,Σ1)x1∼N(μ1,Σ1)x_1\sim N(\mu_1, \Sigma_1)x2∼N(μ2,Σ2)x2∼N(μ2,Σ2)x_2 \sim N(\mu_2,
Chcę wykonać K-oznacza grupowanie obiektów, które mam, ale obiekty te nie są opisywane jako punkty w przestrzeni, tj. Przez objects x featureszestaw danych. Jestem jednak w stanie obliczyć odległość między dowolnymi dwoma obiektami (jest ona oparta na funkcji podobieństwa). Pozbywam się macierzy...
Chciałbym zhierarchizować moje dane, ale zamiast korzystać z odległości euklidesowej, chciałbym zastosować korelację. Ponadto, ponieważ współczynnik korelacji wynosi od -1 do 1, przy czym zarówno -1, jak i 1 oznaczają „współregulację” w moim badaniu, traktuję zarówno -1, jak i 1 jako d = 0. Więc...
Większość klasycznych algorytmów grupowania i zmniejszania wymiarów (grupowanie hierarchiczne, analiza głównych składników, średnie k, samoorganizujące się mapy ...) są zaprojektowane specjalnie dla danych liczbowych, a ich dane wejściowe są postrzegane jako punkty w przestrzeni euklidesowej. Jest...
Mam dwie funkcje gęstości prawdopodobieństwa rozkładów normalnych: f1(x1|μ1,σ1)=1σ12π−−√e−(x−μ1)22σ21f1(x1|μ1,σ1)=1σ12πe−(x−μ1)22σ12f_1(x_1 \; | \; \mu_1, \sigma_1) = \frac{1}{\sigma_1\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_1)^2}{2\sigma_1^2}
Proszę udowodnić, że jeśli mamy dwie zmienne (równa wielkość próby) i Y, a wariancja w X jest większa niż w Y , wówczas suma kwadratowych różnic (tj. Kwadratowych odległości euklidesowych) między punktami danych w X jest również większa niż że w Y
Muszę obliczyć przykładową odległość Mahalanobisa w R pomiędzy każdą parą obserwacji w macierzy współzmiennych . Potrzebuję rozwiązania, które jest wydajne, tj. Obliczane są tylko odległości, a najlepiej realizowane w C / RCpp / Fortran itp. Zakładam, że , macierz kowariancji populacyjnej, jest...
Zamierzam użyć rozbieżności KL w moim kodzie python i mam ten samouczek . W tym samouczku wdrożenie rozbieżności KL jest dość proste. kl = (model * np.log(model/actual)).sum() Jak rozumiem, rozkład prawdopodobieństwa modeli actualpowinien wynosić <= 1. Moje pytanie brzmi: jaka jest...
Mam dwa zestawy danych (dane źródłowe i docelowe), które mają różny rozkład. Korzystam z MMD - czyli nieparametrycznego rozkładu odległości - aby obliczyć rozkład krańcowy między danymi źródłowym i docelowym. dane źródłowe, Xs dane docelowe, Xt adaptacja Matryca A * Dane prognozowane, Zs = A '*...
Używam KL Divergence jako miary odmienności między 2 p.m.f.p.m.f.p.m.f. PPP i QQQ . DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum...
Podejmuję się projektu analizy danych, który obejmuje badanie czasu użytkowania strony internetowej w ciągu roku. Chciałbym porównać, jak „spójne” wzorce użytkowania są, powiedzmy, jak blisko są do wzorca, który wymaga używania go przez 1 godzinę raz w tygodniu, lub takiego, który obejmuje używanie...
Patrzyłem na stronę wikipedii, aby znaleźć korelację odległości, na której wydaje się, że cechuje ją sposób jej obliczenia. O ile mogłem zrobić obliczenia walczę aby uzyskać środki korelacji jakiej odległości i dlatego obliczenia wyglądają tak robią. Czy istnieje (lub wiele) bardziej intuicyjna...