Statystyki i duże zbiory danych

Mam szereg czasowy pomiarów (wysokości-jednowymiarowy szereg). W okresie obserwacji proces pomiaru spadł o kilka punktów czasowych. Tak więc dane wynikowe są wektorem z NaN, w których występują luki w danych. Korzystanie z MATLAB-a powoduje mi problem podczas obliczania autokorelacji ( autocorr) i...

Czy istnieją metody korygowania błędu systematycznego w modelu proporcjonalnego hazardu Coxa spowodowanego przez losowo wybraną próbkę (coś w rodzaju korekty Heckmana)? Tło : Załóżmy, że sytuacja wygląda następująco: - W ciągu pierwszych dwóch lat wszyscy klienci są przyjmowani. - Po tych dwóch...

Szukam zestawów danych 2-wymiarowych punktów danych (każdy punkt danych jest wektorem dwóch wartości (x, y)) o różnych rozkładach i formach. Pomocny byłby również kod do generowania takich danych. Chcę ich użyć do wykreślenia / wizualizacji działania niektórych algorytmów klastrowych. Oto kilka...

Powiedzmy, że mam kilka wierszy dotyczących problemu z klasyfikacją: X1, . . .XN., YX1,...XN,YX_1, ... X_N, Y Gdzie są cechami / predyktorami, a to klasa, do której należy kombinacja cech wiersza.X1, . . . ,XN.X1,...,XNX_1, ..., X_NYYY Wiele kombinacji cech i ich klas jest powtarzanych w...

Związane z analizowaniem stosunków zmiennych i jak sparametryzować stosunek dwóch normalnie rozłożonych zmiennych lub odwrotność jednej? . Załóżmy, że mam szereg próbek z czterech różnych ciągłych rozkładów losowych, z których wszystkie możemy założyć, że są w przybliżeniu normalne. W moim...

Jako hobby poboczne zajmowałem się prognozowaniem szeregów czasowych (w szczególności przy użyciu R). Dla moich danych mam liczbę odwiedzin dziennie, na każdy dzień sięgający prawie 4 lat. W tych danych są pewne wyraźne wzorce: Poniedziałek-piątek ma wiele odwiedzin (najwyższe w Pon / Wt), ale...

Jaka jest różnica między korelacją krzyżową a informacjami wzajemnymi. Jakie problemy można rozwiązać za pomocą tych środków i kiedy należy zastosować jeden nad drugim. Dziękuję za komentarze. Aby wyjaśnić, pytanie wynika raczej z zainteresowania analizą promieniowania niż analizy szeregów...

Powiedz, że masz takie dane o przeżyciu: obs <- data.frame( time = c(floor(runif(100) * 30), floor((runif(100)^2) * 30)), status = c(rbinom(100, 1, 0.2), rbinom(100, 1, 0.7)), group = gl(2,100) ) Aby wykonać standardowy test rang dziennika, można użyć survdiff(Surv(time, status) ~ group,...

Intryguje mnie koncepcja modelu Maksymalnej Entropii Markowa (MEMM) i zastanawiam się nad użyciem go do taggera części mowy (POS). W tej chwili używam konwencjonalnego klasyfikatora Maximum Entropy (ME) do oznaczania każdego słowa. Wykorzystuje szereg funkcji, w tym dwa poprzednie tagi. MEMM...

Czy istnieją standardowe algorytmy (w przeciwieństwie do programów) do wykonywania hierarchicznej regresji liniowej? Czy ludzie zwykle po prostu wykonują MCMC, czy są bardziej wyspecjalizowane, być może częściowo zamknięte,

Używam kernlab paczkę w R zbudować SVM klasyfikowania niektórych danych. SVM działa dobrze, ponieważ zapewnia „przewidywania” przyzwoitej dokładności, jednak moja lista zmiennych wejściowych jest większa niż chciałbym i nie jestem pewien co do względnej ważności różnych zmiennych. Chciałbym...

Jak oczekiwana wartość ciągłej zmiennej losowej odnosi się do jej średniej arytmetycznej, mediany itp. W rozkładzie nienormalnym (np. Skośno-normalnym)? Interesują mnie wszelkie popularne / interesujące dystrybucje (np. Log-normal, proste dystrybucje bi / multimodalne, wszystko inne dziwne i...

Niektóre metody statystyczne - nie pamiętam, czy jest to analiza głównego składnika, czy coś w tym rodzaju - są czasami nazywane „francuską analizą danych”. Co to właściwie jest ? A niektórzy mówią, że to imię jest ironiczne, czy to prawda i

Mam kilka wyników testu opóźnienia odpowiedzi serwera. Zgodnie z naszą analizą teoretyczną, rozkład opóźnień (funkcja rozkładu prawdopodobieństwa opóźnienia odpowiedzi) powinna mieć charakter ciężki. Ale jak mogę udowodnić, że wynik testu przebiega zgodnie z rozkładem...

Za pomocą R dopasowałem model liniowy dla jednej zmiennej odpowiedzi z mieszanki predyktorów ciągłych i dyskretnych. Jest to uber-podstawowe, ale mam problem z uchwyceniem, jak działa współczynnik dla współczynnika dyskretnego. Pojęcie: Oczywiście współczynnik zmiennej ciągłej „x” jest stosowany w...

Według analizy regresji według przykładu , reszta jest różnicą między odpowiedzią a wartością przewidywaną, a następnie mówi się, że każda reszta ma inną wariancję, więc musimy rozważyć standaryzowane reszty. Ale wariancja dotyczy grupy wartości, w jaki sposób pojedyncza wartość może mieć...

Mam dużą ankietę, w której zapytano uczniów, między innymi, o poziom wykształcenia ich matki. Niektórzy pominęli to, a niektórzy odpowiedzieli błędnie. Wiem o tym, ponieważ tam była próba częściowa pierwotnych respondentów matki, która została później przesłuchana i zadała to samo pytanie. (Jestem...

Mam problemy z korzystaniem z funkcji cor()i cor.test(). Mam tylko dwie macierze (tylko wartości liczbowe i taką samą liczbę wierszy i kolumn) i chcę mieć liczbę korelacji i odpowiednią wartość p. Kiedy używam cor(matrix1, matrix2), otrzymuję współczynniki korelacji dla wszystkich komórek. Chcę...

Właśnie przydzielono mi projekt przeprowadzania analizy sentymentu dla niektórych zbiorów dokumentów. Przez Googling pojawiło się wiele badań związanych z sentymentem. Moje pytania to: Jakie są główne metody / algorytmy analizy sentymentów w dziedzinie uczenia maszynowego i analizy...

Mam problem z klasyfikacją ( klasy), rzędu 100 prawdziwych predyktorów, z których jeden wydaje się mieć znacznie większą moc wyjaśniającą niż jakikolwiek inny. Chciałbym głębiej zapoznać się z efektami innych zmiennych. Jednak standardowe techniki uczenia maszynowego (losowe lasy, maszyny SVM itp.)...