Statystyki i duże zbiory danych

Ze strony Wikipedii na temat przedziałów ufności : ... jeśli przedziały ufności są konstruowane na podstawie wielu oddzielnych analiz danych z powtarzanych (i być może różnych) eksperymentów, proporcja takich przedziałów, które zawierają prawdziwą wartość parametru, będzie odpowiadać poziomowi...

Czy ktoś mógłby wyjaśnić prostym językiem angielskim, jaka jest różnica między podstawowymi zasadami Scotta i Silvermana dotyczącymi wyboru przepustowości? W szczególności, kiedy jedno jest lepsze od drugiego? Czy jest to związane z dystrybucją podstawową? Liczba przykładów? PS Mam na myśli kod w...

W regresji liniowej często otrzymujemy wielokrotność R i R do kwadratu. Jakie są między nimi

następujący problem pojawił się ostatnio podczas analizy danych. Jeśli zmienna losowa X podąża za rozkładem normalnym, a Y za (z n dof), jak rozkłada się ? Do tej pory wymyśliłem pdf : χ2nχn2\chi^2_nZ=X2+Y2Z=X2+Y2Z = X^2 +

Jakie jest najlepsze oprogramowanie do wizualizacji danych typu open source? Potrzebuję: Może importować dane z Microsoft Excel (importowanie danych z baz danych Oracle również byłoby dobre, ale nie jest to obowiązkowe). Wykresy generowane przez oprogramowanie można eksportować do programu...

Próbuję zrozumieć koncepcję nadmiernej dyspersji w regresji logistycznej. Czytałem, że nadmierna dyspersja występuje wtedy, gdy zaobserwowana wariancja zmiennej odpowiedzi jest większa niż można by oczekiwać po rozkładzie dwumianowym. Ale jeśli zmienna dwumianowa może mieć tylko dwie wartości...

Właściwie myślałem, że zrozumiałem, co można pokazać z częściową fabułą zależności, ale używając bardzo prostego hipotetycznego przykładu, byłem dość zdziwiony. W poniższym fragmencie kodu wygenerować trzy zmienne niezależne ( , b , c ) i jedną zmienną zależną ( y ) z c pokazującym zbliżenie...

Używam wabbitów ślubnych, aby rozwiązać problem bandytów kontekstowych . Wyświetlam reklamy użytkownikom i mam sporo informacji na temat kontekstu, w którym reklama jest wyświetlana (np. Kim jest użytkownik, w jakiej witrynie się znajduje itp.). To wydaje się być dość klasycznym problemem...

Przeglądałem tutaj różne wątki, ale nie sądzę, aby na moje dokładne pytanie zostało udzielone odpowiedzi. Mam zbiór danych obejmujący ~ 50 000 studentów i ich czas na rezygnację. Zamierzam przeprowadzić proporcjonalną regresję zagrożeń z dużą liczbą potencjalnych zmiennych towarzyszących....

Rozumiem, że test Bartletta dotyczy ustalenia, czy twoje próbki pochodzą z populacji o równych wariancjach. Jeśli próbki pochodzą z populacji o równych wariancjach, wówczas nie odrzucamy hipotezy zerowej testu, a zatem analiza głównego składnika jest nieodpowiednia. Nie jestem pewien, gdzie leży...

Załóżmy, że mamy następujący model regresji logistycznej: logit(p)=β0+β1x1+β2x2logit(p)=β0+β1x1+β2)x2)\text{logit}(p) = \beta_0+\beta_{1}x_{1} + \beta_{2}x_{2} Czy jest szansą na zdarzenie, gdy x 1 = 0, a x 2 = 0 ? Innymi słowy, czy jest szansa na zdarzenie, gdy x 1 i x 2 są na najniższych...

Czytałem w Abdi (2003) , że Gdy zmienne niezależne są parami ortogonalne, wpływ każdej z nich na regresję ocenia się, obliczając nachylenie regresji między tą zmienną niezależną a zmienną zależną. W tym przypadku (tj. Ortogonalność IV) współczynniki regresji częściowej są równe współczynnikom...

Czytam tutaj, że to liczba stopni swobody, której powinienem użyć, wykonując test t dla znaczenia współczynnika regresji, ale nie rozumiem dlaczego. Zrozumiałem, że testy t miały na ogół n - 1 stopni swobody.n - p - 1n-p-1n-p-1n -

Rozumiem przyczynowość stosowaną w mikroekonomii (w szczególności projektowanie nieciągłości IV lub regresji), a także przyczynowość Grangera stosowaną w ekonometrii szeregów czasowych. Jak powiązać jedno z drugim? Na przykład widziałem, że oba dane są stosowane do danych panelowych (powiedzmy , )....

MLE = oszacowanie maksymalnego prawdopodobieństwa MAP = Maksimum a posteriori MLE jest intuicyjny / naiwny, ponieważ zaczyna się od prawdopodobieństwa obserwacji danego parametru (tj. Funkcji prawdopodobieństwa) i próbuje znaleźć parametr najlepiej zgodny z obserwacją . Ale nie bierze pod uwagę...

Często wprowadzane teksty statystyki statystycznej odróżniają średnią od mediany (często w kontekście statystyki opisowej i motywując do podsumowania tendencji centralnej za pomocą średniej, mediany i trybu), wyjaśniając, że średnia jest wrażliwa na wartości odstające w danych próbki i / lub do...

Obecnie próbuję omówić niektóre kwestie dotyczące parametrycznego ładowania początkowego. Większość rzeczy jest prawdopodobnie trywialna, ale nadal myślę, że coś przeoczyłem. Załóżmy, że chcę uzyskać przedziały ufności dla danych przy użyciu parametrycznej procedury ładowania początkowego. Mam...

Aby ocenić wydajność nowego algorytmu klasyfikatora, próbuję porównać dokładność i złożoność (duże O w treningu i klasyfikacji). Z uczenia maszynowego: recenzja Otrzymuję pełną listę nadzorowanych klasyfikatorów, tabelę dokładności między algorytmami i 44 problemy testowe z repozytorium danych UCI...

Szukam metody do obliczenia obszaru nakładania się dwóch oszacowań gęstości jądra w R, jako miary podobieństwa między dwiema próbkami. Aby to wyjaśnić, w poniższym przykładzie musiałbym określić ilościowo obszar pokrywającego się regionu fioletowo: library(ggplot2) set.seed(1234) d <-...

Jak Pearson opracował następujące statystyki chi-kwadrat Pearsona w 1900 roku? K=∑(Oij−Eij)2EijK=∑(Oij−Eij)2Eij K = \sum \frac{(O_{ij} -E_{ij})^2}{E_{ij}} that K∼χ2K∼χ2 K \sim \chi^2 Czy miał na myśli chi-kwadrat i opracował metrykę KKK (podejście od dołu do góry), czy też opracował...