Statystyki i duże zbiory danych

Jeśli zainteresowanie polega jedynie na oszacowaniu parametrów modelu (oszacowanie punktowe i / lub przedziałowe), a wcześniejsze informacje nie są wiarygodne, słabe (wiem, że jest to trochę niejasne, ale staram się ustalić scenariusz, w którym wybór wcześniejsze jest trudne) ... Dlaczego ktoś...

Załóżmy, że przeprowadzam eksperyment, który może mieć 2 wyniki i zakładam, że leżący u podstaw „prawdziwy” rozkład 2 wyników jest rozkładem dwumianowym o parametrach i : .p B i n o m i a l ( n , p )nnnpppBinomial(n,p)Binomial(n,p){\rm Binomial}(n, p) Mogę obliczyć błąd standardowy, , z postaci...

Statystyka Kappa ( ) została wprowadzona w 1960 roku przez Cohena [1] w celu zmierzenia zgodności między dwoma wskaźnikami. Ta wariancja była jednak źródłem sprzeczności od dłuższego czasu.κκ\kappa Moje pytanie dotyczy tego, które jest najlepsze obliczenie wariancji do zastosowania z dużymi...

Chcę wiedzieć, jakie są różnice między algorytmem do przodu i do tyłu i algorytmem Viterbiego do wnioskowania w ukrytych modelach Markowa

Znamy odpowiedź na dwie niezależne zmienne: V a r (XY) = E( X2)Y2)) - ( E( XY) )2)= V a r ( X) V a r ( Y) + V a r ( X) ( E( Y) )2)+ V a r ( Y) ( E( X) )2)Var(XY)=E(X2Y2)−(E(XY))2=Var(X)Var(Y)+Var(X)(E(Y))2+Var(Y)(E(X))2 {\rm Var}(XY) = E(X^2Y^2) − (E(XY))^2={\rm Var}(X){\rm Var}(Y)+{\rm...

Tworzę Poissona GLM w R. Aby sprawdzić, czy występuje nadmierna dyspersja, przyglądam się stosunkowi odchylenia resztkowego do stopni swobody podanych przez summary(model.name). Czy istnieje wartość graniczna lub test dla tego stosunku, który należy uznać za „znaczący”? Wiem, że jeśli jest> 1,...

Niedawno dowiedziałem się o metodzie Fishera do łączenia wartości p. Jest to oparte na fakcie, że wartość p poniżej wartości zerowej ma rozkład równomierny, i że co moim zdaniem jest genialne. Ale moje pytanie brzmi: dlaczego iść w ten zawiły sposób? a dlaczego nie (z czym jest nie tak) po prostu...

Próbuję zrozumieć część splotową sieci neuronowych splotowych. Patrząc na następujący rysunek: Nie mam problemów ze zrozumieniem pierwszej warstwy splotu, w której mamy 4 różne jądra (o wielkości ), które splatamy z obrazem wejściowym, aby uzyskać 4 mapy cech.k × kk×kk \times k To, czego nie...

Tradycyjne testy statystyczne, takie jak test t dwóch próbek, koncentrują się na próbie wyeliminowania hipotezy, że nie ma różnicy między funkcją dwóch niezależnych próbek. Następnie wybieramy poziom ufności i mówimy, że jeśli różnica średnich przekracza poziom 95%, możemy odrzucić hipotezę zerową....

Znalazłem ten samouczek , który sugeruje, że powinieneś uruchomić funkcję skalowania na elementach przed grupowaniem (uważam, że konwertuje dane do wyników Z). Zastanawiam się, czy to konieczne. Pytam głównie dlatego, że nie mam łokcia, gdy nie skaluję danych, ale znika, gdy jest skalowane....

Czytam wiele ewolucyjnych / ekologicznych artykułów akademickich, czasami w konkretnym celu, aby zobaczyć, jak statystyki są wykorzystywane „w prawdziwym świecie” poza podręcznikiem. Zwykle traktuję statystyki w gazetach jako ewangelię i używam ich do pomocy w nauce statystycznej. W końcu, jeśli...

Wydaje się to być podstawową kwestią, ale właśnie zdałem sobie sprawę, że tak naprawdę nie wiem, jak przetestować równość współczynników z dwóch różnych regresji. Czy ktoś może rzucić na to trochę światła? Bardziej formalnie, załóżmy, że uruchomiłem następujące dwie regresje: i gdzie odnosi...

To mój ulubiony Ten przykład jest w humorystyczny sposób (podziękowania należą się mojemu byłemu profesorowi, Stevenowi Gortmakerowi), ale interesują mnie również wykresy, w których czujesz się pięknie i przekazujesz wgląd lub metodę statystyczną wraz z twoimi pomysłami na ten temat. Jeden wpis...

W tradycyjnej statystyce, budując model, sprawdzamy wielokoliniowość za pomocą metod takich jak szacunki współczynnika inflacji wariancji (VIF), ale w uczeniu maszynowym zamiast tego używamy regularyzacji do wyboru funkcji i nie wydaje się, aby sprawdzać, czy cechy są skorelowane w ogóle. Dlaczego...

Kilkakrotnie zadawano mi pytanie: Co to jest Big-Data? Zarówno przez studentów, jak i moich krewnych, którzy podnoszą szum wokół statystyk i ML. Znalazłem ten CV . I czuję, że zgadzam się z jedyną tam odpowiedzią. Strona Wikipedii również ma na ten temat kilka uwag, ale nie jestem pewien,...

Chociaż wybór funkcji aktywacji dla ukrytej warstwy jest dość jasny (głównie sigmoid lub tanh), zastanawiam się, jak zdecydować o funkcji aktywacji dla warstwy wyjściowej. Często wybierane są funkcje liniowe, funkcje sigmoidalne i funkcje softmax. Kiedy jednak powinienem użyć...

Zastanawiałem się, czy odwrotność P (X = 1) reprezentuje coś

Różnica różnic od dawna jest popularna jako narzędzie nie eksperymentalne, zwłaszcza w ekonomii. Czy ktoś może udzielić jasnej i nietechnicznej odpowiedzi na następujące pytania dotyczące różnic w różnicach. Co to jest estymator różnicy w różnicach? Dlaczego estymator różnicy w różnicach jest...

Dla niektórych z nas papiery sędziowskie są częścią pracy. Uważając, że sędziując dokumenty dotyczące metodologii statystycznej, porady z innych dziedzin są dość przydatne, tj. Informatyka i matematyka . To pytanie dotyczy przeglądu częściej stosowanych prac statystycznych. Rozumiem przez to, że...

Z grubsza mówiąc, wartość p daje prawdopodobieństwo zaobserwowanego wyniku eksperymentu, biorąc pod uwagę hipotezę (model). Mając to prawdopodobieństwo (wartość p), chcemy ocenić naszą hipotezę (jak prawdopodobne jest). Ale czy nie byłoby bardziej naturalne obliczanie prawdopodobieństwa hipotezy na...