Statystyki i duże zbiory danych

Załóżmy, że mamy losową próbkę z dwuwymiarowego rozkładu normalnego, który ma zera jako średnie i jedynki jako wariancje, więc jedynym nieznanym parametrem jest kowariancja. Co to jest MLE kowariancji? Wiem, że powinno to być coś takiego jak ale skąd to wiemy?1n∑nj = 1xjotyjot1n∑j=1nxjyj\frac{1}{n}...

Jaka jest różnica między rotacją varimax a rotacją eliminacji w analizie czynnikowej? Jestem również zdezorientowany co do związku między analizą głównych składników, rotacją varimax i eksploracyjną analizą czynnikową, zarówno w teorii, jak i w SPSS. W jaki sposób są one...

Ponieważ mam bardzo niezrównoważony zestaw danych (9% pozytywnych wyników), zdecydowałem, że krzywa przywołania dokładności jest bardziej odpowiednia niż krzywa ROC. Otrzymałem analogiczną miarę sumaryczną pola powierzchni pod krzywą PR (0,49, jeśli jesteś zainteresowany), ale nie jestem pewien,...

Dopasowuję regresję do . Czy poprawne jest obliczanie szacunkowych punktów przekształcenia (i przedziałów ufności / prognozowania) przez potęgowanie? Nie wierzę tak, ponieważ E [ f ( X ) ] ≠ f ( E [ X ] ), ale chciał opinii innych.log(y)log⁡(y)\log(y)E[f(X)]≠f(E[X])E[f(X)]≠f(E[X])E[f(X)] \ne...

Załóżmy, że masz zmienną objaśniającą gdzie oznacza daną współrzędną. Masz również zmienną odpowiedzi . Teraz możemy połączyć obie zmienne jako:X=(X(s1),…,X(sn))X=(X(s1),…,X(sn)){\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)sssY=(Y(s1),…,Y(sn))Y=(Y(s1),…,Y(sn)){\bf{Y}} =...

Moje pytanie opiera się na tej odpowiedzi, która wykazała, który lme4::lmermodel odpowiada dwukierunkowej ANOVA z powtarzanymi pomiarami: require(lme4) set.seed(1234) d <- data.frame( y = rnorm(96), subject = factor(rep(1:12, 4)), a = factor(rep(1:2, each=24)), b = factor(rep(rep(1:2,...

Przeprowadzam wielokrotną regresję liniową poniżej w R, aby przewidzieć zwrot z zarządzanego funduszu. reg <- lm(formula=RET~GRI+SAT+MBA+AGE+TEN, data=rawdata) Tutaj tylko GRI i MBA są predyktorami binarnymi / dychotomicznymi; pozostałe predyktory są ciągłe. Używam tego kodu do generowania...

Każde stwierdzenie, które znajduję w estymatorze Jamesa-Steina zakłada, że ​​oszacowane zmienne losowe mają tę samą wariancję (i jednostkę). Ale wszystkie te przykłady wspominają również, że estymator JS może być używany do szacowania ilości, nie mając ze sobą nic wspólnego. Przykład wikipedia...

Próbuję wykonać regresję lasso, która ma następującą postać: Minimalizuj w( Y - X w ) ′ ( Y - X w ) + λwww( Y- Xw )′( Y- Xw ) + λ| w |1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Biorąc pod uwagę , doradzono mi, aby znaleźć optymalne za pomocą programowania kwadratowego, które...

Proces jest ściśle stacjonarny, jeśli wspólny rozkład jest taki sam jak wspólny rozkład dla wszystkich m , dla wszystkich k i dla wszystkich t_1, t_2, ..., t_m

Zmierzyliśmy dwie zmienne, a wykres rozrzutu wydaje się sugerować wiele modeli „liniowych”. Czy istnieje sposób, aby spróbować destylować te modele? Identyfikacja innych zmiennych niezależnych okazała się trudna. Obie zmienne są mocno pochylone w lewo (w kierunku małych liczb), jest to...

Zajmuję się tworzeniem aplikacji do prognozowania, której celem jest umożliwienie importerowi prognozowania popytu na jego produkty z sieci klientów-dystrybutorów. Dane dotyczące sprzedaży są dość dobrym wskaźnikiem popytu, o ile istnieją odpowiednie zapasy, aby zaspokoić popyt. Kiedy jednak zapasy...

Dlaczego generatory liczb losowych, takie jak runif()w R, nie generują za każdym razem tego samego wyniku? Na przykład: X <- runif(100) X generuje różne wyniki za każdym razem. Jaki jest powód generowania różnych wyników za każdym razem? Jakie funkcje działa w tle, aby to...

Próbuję zautomatyzować wykrywanie wartości odstających w szeregach czasowych i użyłem modyfikacji rozwiązania zaproponowanego przez Roba Hyndmana tutaj . Powiedzmy, że mierzę codzienne wizyty na stronie z różnych krajów. W niektórych krajach, w których codzienne wizyty to kilka setek lub tysięcy,...

Następujący problem: chcę przewidzieć zmienną jakościową z jedną (lub więcej) zmiennymi jakościowymi za pomocą glmnet (). Nie mogę jednak zrozumieć, jaki wynik daje mi glmnet. Ok, najpierw wygenerujmy dwie powiązane zmienne jakościowe: Generuj dane p <- 2 #number variables mu <-...

W tym dokumencie , który dotyczy polecenia „ustaw ziarno”, ludzie Stata omawiają kwestie związane z ustawieniem nasion podczas generowania liczb pseudolosowych. Znamienne „nie” to „nie używaj szeregowo liczb naturalnych jako nasion, ponieważ ma to wzór i zagraża pseudolosowości”. Jedyną jedną...

Czytam podręcznik na temat uczenia maszynowego (Data Mining autorstwa Witten i wsp., 2011) i natknąłem się na ten fragment: ... Ponadto można zastosować różne rozkłady. Chociaż rozkład normalny jest zwykle dobrym wyborem dla atrybutów liczbowych, nie jest odpowiedni dla atrybutów, które mają z...

Wyobrażam sobie, że kontrolowanie zmiennej w projekcie badania jest bardziej skuteczne w zmniejszaniu błędu niż kontrolowanie jej post hoc w modelu regresji. Czy ktoś mógłby wyjaśnić formalnie, czym różnią się te dwa przypadki „kontrolowania”? Jak stosunkowo są skuteczne w zmniejszaniu błędów i...

Wiem więc, że jeśli chcemy znaleźć rozkład prawdopodobieństwa sumy niezależnych zmiennych losowych X+YX+YX + Y , możemy obliczyć go z rozkładów prawdopodobieństwa XXX i , mówiąc:YYY fX+Y(a)=∫∞x=−∞fX,Y(X=x,Y=a−x) dx=∫∞x=−∞fX(x)fY(a−x) dxfX+Y(a)=∫x=−∞∞fX,Y(X=x,Y=a−x) dx=∫x=−∞∞fX(x)fY(a−x) dxf_{X +...

Czytałem trochę o algorytmach usprawniających dla zadań klasyfikacyjnych, aw szczególności Adaboost. Rozumiem, że celem Adaboost jest wzięcie kilku „słabych uczniów” i poprzez zestaw iteracji danych treningowych, popchnąć klasyfikatorów, aby nauczyli się przewidywać klasy, w których model (y)...