Dopasowuję model ARIMA do codziennych szeregów czasowych. Dane są gromadzone codziennie od 02-01-2010 do 30-07-2011 i dotyczą sprzedaży gazet. Ponieważ można znaleźć tygodniowy wzorzec sprzedaży (średnia dzienna liczba sprzedanych egzemplarzy jest zwykle taka sama od poniedziałku do piątku, a...
Muszę obliczyć macierz odwrotnie i używam solvefunkcji. Chociaż działa dobrze na małych matrycach, solvezwykle działa bardzo wolno na dużych matrycach. Zastanawiałem się, czy jest jakaś inna funkcja lub kombinacja funkcji (poprzez SVD, QR, LU lub inne funkcje dekompozycji), które mogą dać mi...
Kontekst Czytałem o teorii odpowiedzi na przedmioty i uważam ją za fascynującą. Myślę, że rozumiem podstawy, ale zastanawiam się, jak zastosować techniki statystyczne związane z tym obszarem. Poniżej znajdują się dwa artykuły podobne do obszaru, w którym chciałbym zastosować...
W szczególności szukam odniesień (artykułów, książek), które rygorystycznie pokażą i wyjaśnią przekleństwo wymiarowości. Pytanie to pojawiło się po tym, jak zacząłem czytać białą księgę autorstwa Lafferty i Wassermana. W akapicie trzecim wspominają o „dobrze znanym” równaniu, które implikuje, że...
Co to znaczy powiedzieć, że „wariancja jest tendencyjnym estymatorem”. Co to znaczy przekonwertować tendencyjne oszacowanie na obiektywne oszacowanie za pomocą prostej formuły. Co dokładnie robi ta konwersja? Jakie jest praktyczne zastosowanie tej konwersji? Czy przeliczasz te wyniki, używając...
Zastanawiałem się, czy można mieć bardzo silny współczynnik korelacji (powiedzmy .9 lub wyższy), z wysoką wartością p (powiedzmy .25 lub wyższy)? Oto przykład niskiego współczynnika korelacji o wysokiej wartości p: set.seed(10) y <- rnorm(100) x <- rnorm(100)+.1*y cor.test(x,y) cor =...
Pozwolę Wikipedii wyjaśnić, w jaki sposób obliczany jest NPS : Wynik promotora netto uzyskuje się, zadając klientom jedno pytanie w skali od 0 do 10, gdzie 10 jest „bardzo prawdopodobne”, a 0 „wcale nie prawdopodobne”: „Jak prawdopodobne jest, że poleciłbyś naszą firmę przyjaciel czy kolega? ”...
Zawsze miałem wrażenie, że regresja jest po prostu bardziej ogólną formą ANOVA i że wyniki będą identyczne. Ostatnio jednak uruchomiłem zarówno regresję, jak i ANOVA dla tych samych danych, a wyniki różnią się znacznie. Oznacza to, że w modelu regresji zarówno główne efekty, jak i interakcja są...
Przeczytałem sporo ukrytych modeli Markowa i sam byłem w stanie napisać całkiem podstawową wersję. Są jednak dwa główne sposoby, których się uczę. Jednym z nich jest przeczytanie i zaimplementowanie go w kodzie (co jest zrobione), a drugim zrozumienie, w jaki sposób ma zastosowanie w różnych...
Podczas pracy z łańcuchem Markowa Monte Carlo w celu wyciągnięcia wniosku, potrzebujemy łańcucha, który szybko się miesza, tzn. Szybko porusza się podparcie dystrybucji tylnej. Ale nie rozumiem, dlaczego potrzebujemy tej właściwości, ponieważ z tego, co rozumiem, zaakceptowane losowania kandydujące...
Ograniczenia standardowych algorytmów sieci neuronowej (takich jak backprop) są takie, że musisz podjąć decyzję projektową, ile ukrytych warstw i neuronów na warstwę chcesz. Zwykle szybkość uczenia się i uogólnienie są bardzo wrażliwe na te wybory. Z tego powodu algorytmy sieci neuronowej, takie...
Istnieje wiele sytuacji, w których możesz trenować kilka różnych klasyfikatorów lub użyć kilku różnych metod wyodrębniania cech. W literaturze autorzy często podają średni błąd klasyfikacji nad zestawem losowych podziałów danych (tj. Po podwójnie zagnieżdżonej walidacji krzyżowej), a czasem także...
Funkcjonalna analiza głównych składników (FPCA) to coś, na co natknąłem się i nigdy nie zrozumiałem. O co w tym wszystkim chodzi? Patrz „Badanie funkcjonalnej analizy głównych składników” autorstwa Shang, 2011 i cytuję: PCA napotyka poważne trudności w analizie danych funkcjonalnych z powodu...
Właśnie zostałem (niejasno) wprowadzony do kowariancji / korelacji odległości . Wydaje się to szczególnie przydatne w wielu sytuacjach nieliniowych, gdy testuje się zależność. Ale nie wydaje się, aby był używany bardzo często, chociaż kowariancja / korelacja są często stosowane w przypadku danych...
SPSS używa testu Levene'a do oceny jednorodności wariancji w niezależnej grupie testów t. Dlaczego test Levene'a jest lepszy od prostego współczynnika F stosunku wariancji dwóch
Czy to możliwe, że dwie zmienne losowe mają ten sam rozkład, a mimo to prawie na pewno różnią
Zastanawiałem się, czy ktokolwiek miałby wgląd lub intuicję za różnicą między zmiennością informacji a indeksem Rand do porównywania klastrów. Przeczytałem artykuł „ Porównywanie klastrów - odległość oparta na informacjach ” autorstwa Marii Melii (Journal of Multivariate Analysis, 2007), ale poza...
Czytam slajdy „Doing Bayesian Data Analysis” Johna Kruschkego , ale tak naprawdę mam pytanie o jego interpretację testów t i / lub całą strukturę testowania znaczenia hipotezy zerowej. Twierdzi, że wartości p są źle zdefiniowane, ponieważ zależą od intencji badacza. W szczególności podaje przykład...
W swoim podręczniku, graficznych modelach rodziny wykładniczej i wariacyjne Inference , M. Jordana i M. Wainwright omówić związek między rodzinami wykładnicze i Markowa pól losowych (nieukierunkowane modeli graficznych). Staram się lepiej zrozumieć związek między nimi za pomocą następujących...
Załóżmy, że analizujesz ogromny zestaw danych w wysokości miliardów obserwacji dziennie, gdzie każda obserwacja ma kilka tysięcy rzadkich i prawdopodobnie zbędnych zmiennych liczbowych i kategorialnych. Powiedzmy, że istnieje jeden problem regresji, jeden niezrównoważony problem klasyfikacji...