Statystyki i duże zbiory danych

Jestem ciekawy twierdzenia zawartego w artykule Wikipedii dotyczącym wielkości efektu . Konkretnie: [...] porównanie statystyczne o wartości innej niż zero zawsze będzie wykazywać statystycznie znaczące wyniki, chyba że wielkość efektu populacji będzie dokładnie równa zero Nie jestem pewien,...

To pytanie ma już odpowiedzi tutaj : Jak zmiana funkcji kosztów może być dodatnia? (1 odpowiedź) Co powinienem zrobić, gdy moja sieć neuronowa się nie uczy? (5 odpowiedzi) Zamknięte w zeszłym miesiącu . Trenuję model (Recurrent Neural Network) do...

Rozważ regresję kalenicową z dodatkowym ograniczeniem wymagającym, aby miał jednostkową sumę kwadratów (równoważnie wariancję jednostkową); w razie potrzeby można założyć, że ma również jednostkową sumę kwadratów:y^y^\hat{\mathbf y}yy\mathbf

Zostało to zadane na innych stronach SE w kontekście systemów operacyjnych i algebry liniowej, ale to samo pytanie mnie martwi w odniesieniu do metod jądra używanych w statystyce i uczeniu maszynowym. Często mówi się, że jądra, np. W szacowaniu gęstości jądra lub SVM, reprezentują pewne...

Niektóre źródła podają, że funkcja prawdopodobieństwa nie jest prawdopodobieństwem warunkowym, niektóre twierdzą, że tak. To jest dla mnie bardzo mylące. Według większości źródeł, które widziałem, prawdopodobieństwo rozkładu z parametrem powinno być iloczynem funkcji masy prawdopodobieństwa,...

Jaka jest motywacja do wprowadzenia dodatkowego poziomu pośredniczości od opisowego „fałszywie dodatniego” do liczby całkowitej „1”? Czy „fałszywie pozytywne” jest naprawdę zbyt

Próbowałem użyć zwykłego wyszukiwania w Google itp., Ale większość odpowiedzi, które znalazłem, są albo niejasne, albo specyficzne dla języka / biblioteki, takie jak Python lub C ++ stdlib.hitp. Szukam agnostycznej, matematycznej odpowiedzi na język, a nie specyfiki biblioteki. Na przykład wielu...

Powiedzmy, że mam następujące liczby: 4,3,5,6,5,3,4,2,5,4,3,6,5 Próbkuję niektóre z nich, powiedzmy 5 z nich, i obliczam sumę 5 próbek. Następnie powtarzam to w kółko, aby uzyskać wiele sum, i wykreślam wartości sum w histogramie, który będzie gaussowski z powodu twierdzenia o granicy...

Angrist i Pischke zasugerowali, że Odporne (tj. Odporne na heteroskedastyczność lub nierówne wariancje) Błędy standardowe są zgłaszane jako rzecz oczywista, a nie testowanie. Dwa pytania: Jaki jest wpływ na standardowe błędy popełniane w przypadku homoskedastyczności? Czy ktoś faktycznie robi to...

Nie jestem ekspertem od losowego lasu, ale doskonale rozumiem, że kluczowym problemem z losowym lasem jest (losowe) generowanie drzew. Czy możesz mi wyjaśnić, w jaki sposób generowane są drzewa? (tj. Jaka jest używana dystrybucja do generowania drzew?) Z góry dziękuję !...

Słyszałem, że gdy wiele specyfikacji modelu regresji (powiedzmy w OLS) jest rozważanych jako możliwości zestawu danych, powoduje to wiele problemów z porównaniem, a wartości p i przedziały ufności nie są już wiarygodne. Jednym z ekstremalnych przykładów jest regresja stopniowa. Kiedy mogę użyć...

Jaka jest preferowana metoda przeprowadzania post-hoców w ramach testów przedmiotowych? Widziałem opublikowane prace, w których stosuje się HSD Tukeya, ale przegląd Keppela i Maxwella i Delaneya sugeruje, że prawdopodobne naruszenie kulistości w tych projektach powoduje, że termin błędu jest...

Precyzja jest zdefiniowana jako: p = true positives / (true positives + false positives) Czy jest to prawidłowe, że, jak true positivesi false positivespodejście 0, precyzja zbliża 1? To samo pytanie do przypomnienia: r = true positives / (true positives + false negatives) Obecnie wdrażam...

Pytanie, które martwiło mnie przez jakiś czas, na które nie wiem jak odpowiedzieć: Każdego dnia mój meteorolog daje procentową szansę na deszcz (załóżmy, że obliczono go na 9000 cyfr i nigdy nie powtórzył żadnej liczby). Każdego dnia pada albo nie pada. Mam lata danych - procent szans względem...

Trik jądro jest stosowana w kilku modelach uczenia maszynowego (np SVM ). Po raz pierwszy został wprowadzony w artykule „Teoretyczne podstawy metody funkcji potencjalnej w uczeniu się rozpoznawania wzorców” w 1964 r. Definicja wikipedia mówi, że tak sposób zastosowania algorytmu klasyfikatora...

Czytałem dziś blog Christiana Roberta i całkiem podobał mi się nowy algorytm Metropolis-Hastings, o którym rozmawiał. Wydawało się proste i łatwe do wdrożenia. Ilekroć koduję MCMC, mam tendencję do trzymania się bardzo podstawowych algorytmów MH, takich jak niezależne ruchy lub losowe spacery na...

Logiką wielokrotnej imputacji (MI) jest przypisywanie brakujących wartości nie jeden raz, ale kilka razy (zwykle M = 5) razy, co skutkuje M zakończonymi zestawami danych. M zakończonych zestawów danych jest następnie analizowanych metodami kompletnych danych, na podstawie których szacunki M i ich...

Prowadzę eksperymenty na papierze i szukam interesującej książki / strony internetowej, aby właściwie zrozumieć, jak działają ANOVA i ANCOVA. Mam dobre doświadczenie matematyczne, więc niekoniecznie potrzebuję wulgarnych wyjaśnień. Chciałbym również wiedzieć, jak ustalić, kiedy użyć ANOVA zamiast...

Zwykle używa się drugiego, trzeciego i czwartego momentu rozkładu, aby opisać niektóre właściwości. Czy momenty cząstkowe lub momenty wyższe niż czwarty opisują jakieś użyteczne właściwości

To pytanie dotyczy oceny wyników granicznych w wielowymiarowym kwestionariuszu przesiewowym w celu przewidzenia binarnego punktu końcowego w obecności skorelowanych skal. Zapytano mnie o zainteresowanie kontrolowaniem powiązanych wyników przy opracowywaniu punktów odcięcia dla każdego wymiaru...