To pytanie podaje ilościową definicję entropii krzyżowej pod względem jej wzoru. Szukam bardziej hipotetycznej definicji, wikipedia mówi: W teorii informacji entropia krzyżowa między dwoma rozkładami prawdopodobieństwa mierzy średnią liczbę bitów potrzebną do zidentyfikowania zdarzenia z...
Mam wielowymiarowy zestaw danych szeregów czasowych, w tym oddziałujące zmienne biologiczne i środowiskowe (oraz ewentualnie niektóre zmienne egzogeniczne). Oprócz sezonowości w danych nie ma wyraźnego trendu długoterminowego. Moim celem jest sprawdzenie, które zmienne są ze sobą powiązane. Tak...
Więc bawiłem się SVM i zastanawiam się, czy to dobra rzecz: Mam zestaw funkcji ciągłych (od 0 do 1) i zestaw cech kategorycznych, które przekonwertowałem na zmienne obojętne. W tym konkretnym przypadku koduję datę pomiaru w zmiennej zastępczej: Są 3 okresy, z których mam dane i zarezerwowałem dla...
Niektórzy Bayesianie atakują wnioskowanie częstych stwierdzając, że „nie ma unikalnego rozkładu próbkowania”, ponieważ zależy to od intencji badacza (Kruschke, Aguinis i Joo, 2012, s. 733). Powiedzmy na przykład, że badacz rozpoczyna zbieranie danych, ale jego finansowanie zostało niespodziewanie...
Tak więc w (nienadzorowanym) modelowaniu tekstu Latent Dirichlet Allocation (LDA) to bayesowska wersja probabilistycznej latentnej analizy semantycznej (PLSA). Zasadniczo LDA = PLSA + Dirichlet przed jego parametrami. Rozumiem, że LDA jest teraz algorytmem referencyjnym i jest zaimplementowany w...
Korzystanie z tych danych: head(USArrests) nrow(USArrests) Mogę zrobić PCA w następujący sposób: plot(USArrests) otherPCA <- princomp(USArrests) Mogę pobrać nowe komponenty otherPCA$scores oraz odsetek wariancji wyjaśniony przez składniki z summary(otherPCA) Ale co jeśli chcę...
Osiągnąłem silną liniową zależność między moją zmienną XXX i YYY po podwójnej transformacji odpowiedzi. Model to Y∼XY∼XY\sim X ale przekształciłem go w YX−−√∼X−−√YX∼X\sqrt{\frac{Y}{X}}\sim \sqrt{X} poprawyR2R2R^2od .19 do .76. Najwyraźniej zrobiłem porządną operację związaną z tym...
Mam dane na temat pracowników dużej włoskiej firmy w ciągu dziesięciu lat i chciałbym zobaczyć, jak zmieniła się z czasem różnica między płciami w zarobkach kobiet i mężczyzn. W tym celu uruchamiam połączone OLS: yi t= X′i tβ+ δm a l eja+ ∑t = 110γtret+ εi...
W szczególności zastanawiam się, dlaczego mamy tę koncepcję wielokrotności R (którą rozumiem jako korelację między obserwowanymi i przewidywanymi wynikami w regresji wielokrotnej), a następnie osobną koncepcję kwadratu R, który jest po prostu kwadratem lub R. Zostałem poinformowany, że R-kwadrat...
Chcę spróbować użyć maszyn wektorów wsparcia (SVM) w moim zestawie danych. Zanim jednak spróbowałem rozwiązać problem, zostałem ostrzeżony, że maszyny SVM nie radzą sobie dobrze z bardzo niezrównoważonymi danymi. W moim przypadku mogę mieć aż 95-98% zera i 2-5% 1. Próbowałem znaleźć zasoby, które...
Czytam artykuł naukowy na temat klasyfikacji obrazów. W wynikach eksperymentów mówią o dokładności 1 i 5, ale nigdy nie słyszałem o tym terminie, ani nie mogę go znaleźć za pomocą Google. Czy ktoś może podać mi definicję lub wskazać gdzieś?
Słyszałem, że regresję grzbietu można wyprowadzić jako średnią rozkładu z tyłu, jeśli uprzednio zostanie odpowiednio wybrany. Czy intuicja, że ograniczenia określone przez współczynniki regresji przez wcześniejsze (np. Standardowe rozkłady normalne około 0) są identyczne / zastępuje karę...
Pracuję nad miarą ważności funkcji Gini dla losowego lasu. Dlatego muszę obliczyć spadek zanieczyszczenia węzła Gini. Oto sposób, w jaki to robię, co prowadzi do konfliktu z definicją, co sugeruje, że gdzieś się mylę ... :) W przypadku drzewa binarnego i biorąc pod uwagę prawdopodobieństwa lewych...
Czy istnieje tezaurus referencyjny dotyczący statystyk i terminów uczenia maszynowego? Wiem, że artykuły w Wikipedii często zawierają synonimy, ale chciałbym mieć jedynie tezaurus, przez który mógłbym łatwo przejść (w porównaniu z pełną encyklopedią), aby upewnić się, że znam cały...
Mam zestaw danych z kilkoma milionami wierszy i ~ 100 kolumnami. Chciałbym wykryć około 1% przykładów w zestawie danych, które należą do wspólnej klasy. Mam ograniczenie minimalnej precyzji, ale z powodu bardzo asymetrycznego kosztu nie jestem zbytnio zainteresowany żadnym konkretnym wycofaniem (o...
Używam KL Divergence jako miary odmienności między 2 p.m.f.p.m.f.p.m.f. PPP i QQQ . DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum...
Mam kilka surowych wartości danych, które są kwotami w dolarach, i chcę znaleźć przedział ufności dla percentyla tych danych. Czy istnieje wzór na taki przedział
Jeśli mam system oceny gwiazdek, w którym użytkownicy mogą wyrazić swoje preferencje dotyczące produktu lub przedmiotu, w jaki sposób mogę wykryć statystycznie, czy głosy są wysoce „podzielone”. Oznacza to, że nawet jeśli średnia wynosi 3 z 5 dla danego produktu, jak mogę wykryć, czy jest to...
Obliczyłem autokorelację na danych szeregów czasowych wzorców ruchu ryby na podstawie jej pozycji: X ( x.ts) i Y ( y.ts). Korzystając z R, uruchomiłem następujące funkcje i stworzyłem następujące wykresy: acf(x.ts,100) acf(y.ts,100) Moje pytanie brzmi: jak interpretować te wykresy?...
Próbuję wykonać regresję danych heteroscedastycznych, w których próbuję przewidzieć wariancje błędów, a także wartości średnie w odniesieniu do modelu liniowego. Coś